Сохраните и отрисуйте веб-страницу с помощью PhantomJS и node.js

Question

Я ищу пример запроса веб-страницы, ожидающей рендеринга JavaScript (JavaScript изменяет DOM), а затем захвата HTML-страницы.

Это должен быть простой пример с очевидным прецедентом для PhantomJS. Я не могу найти достойный пример, документация, похоже, касается использования командной строки.

Answer 1

От ваших комментариев, я предполагаю, что у вас есть 2 варианта

1. Попробуйте найти модуль с phantomjs узла - https://github.com/sgentle/phantomjs-node
2. Run phantomjs как дочернего процесса внутри узла - http://nodejs.org/api/child_process.html

Редактировать:

Кажется, что дочерний процесс предложен phantomjs как способ взаимодействия с узлом, см. Faq - http://code.google.com/p/phantomjs/wiki/FAQ

Edit:

Пример Phantomjs скрипт для получения страниц HTML разметки:

var page = require('webpage').create(); 
page.open('http://www.google.com', function (status) { 
    if (status !== 'success') { 
     console.log('Unable to access network'); 
    } else { 
     var p = page.evaluate(function() { 
      return document.getElementsByTagName('html')[0].innerHTML 
     }); 
     console.log(p); 
    } 
    phantom.exit(); 
}); 

Answer 2

Я использовал два различных способа в прошлом, в том числе метод page.evaluate(), который запрашивает DOM, о котором упоминал Деклан. Другой путь я прошел информацию от веб-страницы, чтобы выплюнуть в console.log() оттуда, и в использовании phantomjs сценария:

page.onConsoleMessage = function (msg, line, source) { 
    console.log('console [' +source +':' +line +']> ' +msg); 
} 

Я мог бы также ловушкой переменная тзд в onConsoleMessage и найдите некоторые данные инкапсуляции. Зависит от того, как вы хотите использовать вывод.

Затем в сценарии Nodejs, вам придется сканировать вывод скрипта Phantomjs:

var yourfunc = function(...params...) { 
    var phantom = spawn('phantomjs', [...args]); 
    phantom.stdout.setEncoding('utf8'); 
    phantom.stdout.on('data', function(data) { 
    //parse or echo data 
    var str_phantom_output = data.toString(); 
    // The above will get triggered one or more times, so you'll need to 
    // add code to parse for whatever info you're expecting from the browser 
    }); 
    phantom.stderr.on('data', function(data) { 
    // do something with error data 
    }); 
    phantom.on('exit', function(code) { 
    if (code !== 0) { 
     // console.log('phantomjs exited with code ' +code); 
    } else { 
     // clean exit: do something else such as a passed-in callback 
    } 
    }); 
} 

Надежда, что помогает некоторым.

Answer 3

Late обновление в случае, если кто натыкается на этот вопрос:

Проект на GitHub, разработанный моим коллегой именно стремится помочь вам сделать это: https://github.com/vmeurisse/phantomCrawl.

Это еще немного, конечно, отсутствует документация, но приведенный пример должен помочь выполнить базовое сканирование.

Answer 4

Почему бы просто не использовать это?

var page = require('webpage').create(); 
page.open("http://example.com", function (status) 
{ 
    if (status !== 'success') 
    { 
     console.log('FAIL to load the address');    
    } 
    else 
    { 
     console.log('Success in fetching the page'); 
     console.log(page.content); 
    } 
    phantom.exit(); 
}); 

Answer 5

Вот старая версия, которую я использую работает узел, выражать и phantomjs, который сохраняет за страницу в формате .png. Вы можете настроить его довольно быстро, чтобы получить html.

https://github.com/wehrhaus/sitescrape.git

Answer 6

С v2 из phantomjs-node довольно легко напечатать HTML после его обработки.

var phantom = require('phantom'); 

phantom.create().then(function(ph) { 
    ph.createPage().then(function(page) { 
    page.open('https://stackoverflow.com/').then(function(status) { 
     console.log(status); 
     page.property('content').then(function(content) { 
     console.log(content); 
     page.close(); 
     ph.exit(); 
     }); 
    }); 
    }); 
}); 

Это будет отображать вывод, как это было бы показано в браузере.