wget не возвращает правильную страницу

Question

Я пытаюсь выполнить сценарий с помощью wget. У меня есть список сайтов, которые мне нужны, чтобы проверить, являются ли они мобильными, и я использую сайт google: https://www.google.com/webmasters/tools/mobile-friendly/. Вместо того, чтобы идти на сайт и вводить в каждом адресе, я хочу написать сценарий для его автоматизации.

Пример проверить Amazon, например, будет выглядеть так:

wget https://www.google.com/webmasters/tools/mobile-friendly/?url=amazon.com 

Я попытался изменить строку агента пользователя и принимает куки, как хорошо, но она держит только загрузки главной страницы.

Answer 1

wget будет загружать страницу как есть. Это означает, что код JS не будет выполнен.

Возможно может помочь:

• wget + JavaScript?

• Command line browser with js support

Answer 2

Спасибо, ребята за помощь. Я смог понять выход. Один из способов - использовать фантомы. Вы можете создать сценарий, как показано ниже, что я назвал save.js:

var system = require('system'); 
var page = require('webpage').create(); 

page.open(system.args[1], function() 
{ 
    console.log(page.content); 
    phantom.exit(); 
}); 

Затем я запускаю код следующим образом:

phantomjs save.js http://www.google.com> output.html

Другой способ заключается в использовании селен с питоном. Вот фрагмент кода из python, который будет печатать html.

from selenium import webdriver 

driver = webdriver.PhantomJS() 
driver.set_window_size(1024,768) 
driver.get('www.google.com') 
print driver.page_source 
driver.quit()