Почему этот код Эликсира так медленно?

Question

В настоящее время я очень заинтересован в изучении Эликсира, и мой типичный подход к изучению нового языка - это создание с ним простых программ.

Так что я решил написать (очень простой) Grep-подобные программы (или модуль), который показан здесь:

defmodule LineMatch do 
    def file(s, path) do 
    case File.open(path, [:read]) do 
     {:ok, fd} -> match s, fd 
     {_, error} -> IO.puts "#{:file.format_error error}" 
    end 
    end 
    defp match(s, fd) do 
    case IO.read fd, :line do 
     {:error, error} -> IO.puts("oh noez! Error: #{error}") 
     line -> match(s, line, fd) 
    end 
    end 
    defp match(s, line, fd) when line !== :eof do 
    if String.contains?(line, s) do 
     IO.write line 
    end 
    match(s, IO.read(fd, :line), fd) 
    end 
    defp match(_, _line, _) when _line === :eof do 
    end 
end 

Это, скорее всего, не самый изящный способ сделать это, и я также совершенно новый для функционального программирования, поэтому я не ожидал, что он будет очень быстрым. Но это не только не быстро, на самом деле это супер медленный. Так медленно, что я, вероятно, совершил какую-то сверхразумную ошибку.

Может ли кто-нибудь сказать мне, что это такое и как сделать его лучше?

Я обычно проверить код с отдельными .exs файл как

case System.argv do 
    [searchTerm, path] -> LineMatch.file(searchTerm, path) 
    _ -> IO.puts "Usage: lineMatch searchTerm path" 
end 

Answer 1

Вместо того, чтобы читать в весь файл, как в ответ lad2025, вы можете получить хорошую производительность, делая две вещи. Сначала используйте IO.binstream для создания потока строк файла, но в качестве исходного двоичного файла (для производительности). Использование IO.stream читается как UTF-8 и, как таковое, требует дополнительных затрат на преобразование при чтении файла. Если вам нужно преобразование UTF-8, то оно будет медленным. Кроме того, применение операций фильтрации и сопоставления с использованием функций Stream.filter/2 и Stream.map/2 предотвращает повторную итерацию по линиям несколько раз.

defmodule Grepper do 
    def grep(path, str) do 
    case File.open(path) do 
     {:error, reason} -> IO.puts "Error grepping #{path}: #{reason}" 
     {:ok, file} -> 
     IO.binstream(file, :line) 
     |> Stream.filter(&(String.contains?(&1, str))) 
     |> Stream.map(&(IO.puts(IO.ANSI.green <> &1 <> IO.ANSI.reset))) 
     |> Stream.run 
    end 
    end 
end 

Я подозреваю, что самый большой вопрос с вашим кодом является UTF-8 преобразования, но это может быть что «вытягивать» из файла построчно по телефону IO.read, вместо того, чтобы линии «толкнули» в ваши операции фильтрации/печати с использованием IO.stream|binstream, вы несете дополнительную стоимость. Я должен был бы взглянуть на источник Эликсира, чтобы знать наверняка, но приведенный выше код был довольно впечатляющим на моей машине (я искал 143kb-файл из базы данных часовых поясов Olson, не уверен, как это будет выполняться на файлах очень большого размера, как У меня нет хорошего файла с образцами).

Answer 2

Использование File.stream! будет намного более эффективным. Пробег:

defmodule Grepper do 
    def grep(path, str) do 
    File.stream!(path) 
     |> Stream.filter(&(String.contains?(&1, str))) 
     |> Stream.map(&(IO.puts(IO.ANSI.green <> &1 <> IO.ANSI.reset))) 
     |> Stream.run 
    end 
end