Как найти текст в большом файле с помощью PHP?

Question

Мне нужно обнаружить файлы, содержащие мою строку. Размер файлов может быть больше 4 ГБ. Я не могу этого сделать, просто используя такие инструменты, как file_get_contents(), потому что он пытается поместить файл в ОЗУ.

Как это сделать? Использование стандартного PHP? Использование elasticsearch или другой внешней поисковой системы?

Answer 1

Если у вас есть машина на базе Linux, вы можете использовать команду Grep:

shell_exec('grep "text string to search" /path/to/file'); 

В выходе вы будете иметь все строки, содержащие текст.

here Вы можете найти простой учебник по использованию grep!

Если вам нужно найти все файлы, содержащие текст в каталоге, вы можете использовать

shell_exec('grep -rl "text string to search" /path/to/dir'); 

г означает «рекурсивный», так что это будет выглядеть в каждом файле

л обозначает " show filenames "

В результате у вас будут все имена файлов (по одному в строке).

Answer 2

file_get_contents Возвращает содержимое всего файла в качестве переменной. В вашем случае это означает, что он попытается создать переменную 4 ГБ, которая исчерпывает допустимую память.

Пробуйте использовать fopen и fgets. Это позволит вам обрабатывать файлы в небольших кусках.

Попробуйте! :)

Answer 3

Вы можете использовать что-то вроде этого. Это не оптимизирован и протестирован на всех, и может иметь некоторую ошибку незамеченной со мной, но вы должны получить идею:

function findInFile($file_name, $search_string, $chunk_size=1024) { 
    // Because we are going to look back one chunk at a time, 
    // having $search_string more than twice of chunks will yield 
    // no result. 
    if (strlen($search_string) > 2 * $chunk_size) { 
     throw new \RuntimeException('Size of search string should not exceed size of chunk'); 
    } 
    $file = new \SplFileObject($file_name, 'r'); 
    $last_buffer = ''; 
    while (!$file->eof()) { 
     $chunk = $file->fread($chunk_size); 
     $buffer = $last_buffer . $chunk; 
     $position_in_buffer = strstr($buffer, $search_string); 
     if ($position_in_buffer !== false) { 
      // Return position of string in file 
      return 
       $file->ftell() - strlen($chunk) + $position_in_buffer 
      ; 
     } 
     $last_buffer = $chunk; 
    } 
    return null; 
}