Скребок страницы после загрузки JS DOM injection

Question

Я создаю скребок, который получает основные изображения (на основе Content-Length прямо сейчас) со страницы. Он проходит через все элементы <img> и делает запрос HEAD. Но некоторые страницы, особенно. мобильные, имеют изображения, вставленные после загрузки страницы. Любые идеи о том, как справиться с этим?

Я пользуюсь node.js.

Answer 1

Я не могу быть уверен, что он решает вашу проблему, но вы можете изучить использование jsdom, так как он может извлекать и выполнять скрипты на странице и предоставляет DOM на сервере. Что-то вроде:

var request = require('request'), 
    jsdom = require('jsdom').jsdom; 

request(url, function(err, response, body) { 
    if(err) return console.error(err); 

    var doc = jsdom(body, null, { 
    FetchExternalResources: ['script', 'img'] 
    }); 
    var window = doc.createWindow(); 

    var images = doc.getElementsByTagName('img'); 
}); 

Answer 2

Используйте PhantomJS. Это «безглазый WebKit с JavaScript API». Подумайте об этом, как о целом браузере, которым вы можете управлять через JavaScript API. Поскольку это браузер, он полностью выполнит страницы, а затем вы сможете их очистить.

Это несколько аналогичный для Node.js, но на самом деле это полный браузер, в котором ваши сценарии имеют полный доступ к DOM страницы, на которую вы ее сбрасываете. Так что проще «очистить» страницу, используя доступ к DOM, используя что-то вроде jQuery, вместо того, чтобы просто обращаться к необработанному HTML.

Вот пример на DOM manipulation