Извлечение информации из документов HTML с использованием командной строки

Question

Я использую wget для загрузки HTML-страницы и извлечения информации из. В частности, я хочу это сделать:

<a href="/312728/" title="The 10 Best Goals ever"> 
<a href="/671921/" title="Golf at its best"> 
<a href="/371285/" title="Football Legends"> 
<a href="/576903/" title="Boxing Legends"> 

в это и сохранить как файл txt.

/312728/The 10 Best Goals ever 
/671921/Golf at its best 
/371285/Football Legends 
/576903/Boxing Legends 

Я пробовал:

wget --quiet -O - http://some-site.com | grep -o '<a href="/?/" title="?"> > new.txt 

, но это не дало мне желаемых результатов.

Answer 1

Изменение grep к egrep для некоторых мельче регулярных выражений способностей, вы можете сделать что-то вроде:

wget --quiet -O - http://some-site.com | egrep -e '<a href="\/[0-9]*\/" title="[:alnum:]*' 

Который должен вернуться:

<a href="/312728/" title="The 10 Best Goals ever"> 
<a href="/671921/" title="Golf at its best"> 
<a href="/371285/" title="Football Legends"> 
<a href="/576903/" title="Boxing Legends"> 

Тогда, используя awk мы можем разграничить эти вещи дважды -quote и выберите части, которые вы хотите вернуть:

wget --quiet -O - http://some-site.com | egrep -e '<a href="\/[0-9]*\/" title="[:alnum:]*' | awk -F'"' '{print $2$4}' 

Который должен вернуть это:

/312728/The 10 Best Goals ever 
/671921/Golf at its best 
/371285/Football Legends 
/576903/Boxing Legends 

Что вы могли бы перенаправить в текстовый файл, например так:

wget --quiet -O - http://some-site.com | egrep -e '<a href="\/[0-9]*\/" title="[:alnum:]*' | awk -F'"' '{print $2$4}' >> mytextfile.txt