Записать результаты поиска google на html страницы

Question

Я хочу загрузить случайно много файлов Excel (например, .xls, .xlsx, .xlsm) из Интернета.

Во-первых, файлы «google», имеющие .xlsx в качестве постфикса. У меня есть следующие оболочки:

for ((i=0 ; i<400 ; i=i+10)) ; do 
    wget -O $i.html "https://www.google.fr/?gws_rd=ssl#q=filetype:xlsx&start=$i" 
done 

выше оболочка формирует 0.html, 10.html ... Как ни странно, все сгенерированные страницы одинаковы:

Кто-нибудь знает, что это неправильно в моем коде ?

Answer 1

Потенциал wget в связи с этим немного ограничен, вы можете попробовать использовать, например,

lynx -dump "http://google.com/search?hl=en&safe=off&q=filetype:xlsx&start=$i" > output 

Однако следует держать Google Terms of Service в виду, в частности:

Дон Не злоупотребляйте нашими Сервисами. Например, не мешайте нашим службам или пытайтесь получить к ним доступ, используя метод, отличный от интерфейса и инструкций, которые мы предоставляем.