Обработка текста внутри переменной перед записью в файл

Question

Я использую пакет Perl WWW::Mechanize для извлечения и обработки данных с некоторых веб-сайтов. Обычно мой способ действия заключается в следующем:

1. Fetch веб-страницу

   $mech->get("$url");

2. Сохранить содержимое веб-страницы в переменной (кстати, я не уверен, что это правильный путь сохранить этот объем текста внутри скаляр, который, насколько я знаю, предполагается использовать для одного значения)

   my $list = $mech->content();

3. Используйте подпрограмму, которую я создал, чтобы записать содержимое переменной в текстовый файл. (The writetoFile подпрограммой включает в себя несколько функций, таких как пути и существующие валидаций файлов ..)

   writeToFile("$filename.tmp","$path",$list);

4. Обработка текста в файл, созданный в предыдущем шаге, создав дополнительный файл и сохранить его обработанный содержание там (Затем удаление начального временного файла).

Что интересно, о, есть ли возможность осуществлять обработку перед сохранением текста в файле, непосредственно внутри переменной $list? Весь процесс работает так, как ожидалось, но мне не очень нравится логика, и это кажется немного неэффективным, так как мне приходится переписывать один и тот же файл несколько раз.

EDIT: Просто для получения дополнительной информации о том, что я на самом деле после обработки содержимого переменной. Таким образом, данные, которые я извлекаю с веб-сайта в этом случае, на самом деле представляют собой список элементов, разделенных пустой строкой, и первая строка для меня не имеет значения. Так что я делаю во время обработки этих данных составляют 2 вещи:

1. Удалить пустой (CRLF) линии
2. Удалите первую строку, если она включает в себя конкретный текст.

В идеале я хочу сохранить обработанный список (без пробелов и первой строки) в файле без создания каких-либо дополнительных файлов в пути. Чтобы сохранить файл, я хотел бы использовать writeToFile sub (я написал), так как он также выполняет проверку того, существует ли такой файл (если файл будет сохранен до окончательной обработки - writeToFile всегда будет переписывать существующий файл).

Надеюсь, что это имеет смысл.

Answer 1

Вы ищете split. Структура зависит: используйте (?<=\n), разделив на новый символ линии и сохраните его. Если это не имеет значения, используйте \R, чтобы включить все виды разрывов строк.

foreach my $line (split qr/\R/, $mech->content) { 
    … 
} 

Теперь обязательно HTML-синтаксический-с-регулярное выражение увещевание: если вы получаете источник HTML с Mechanize, разбор его построчно-линии не имеет особого смысла.Вероятно, вы захотите обработать HTML-лишенную версию документа text или передать исходный код HTML в парсер, например Web::Query, чтобы декларативно получить нужные фрагменты.