Как получить доступ к неизменному источнику страницы через phantomjs

Question

Используя phantomjs, вы можете получить доступ к копии модифицированного DOM, после разбора. Используя вызов cURL, вы можете получить доступ к предварительному анализу страницы. В предварительно проанализированном коде вы можете найти ошибки, которые исправляются браузером.

Как вы получаете доступ к изменениям, сделанным после рендера, и к предварительно подготовленному контенту, чтобы сопоставить исправления, которые делает браузер автоматически?

Является лучшим методом для использования DIFF в двух файлах или фантомы содержат две копии содержимого, оригинальные и модифицированные формы? Я не могу найти правильный способ выразить это, чтобы получить ответ через google и поиск здесь: https://stackoverflow.com/search?q=[phantomjs]+save+unaltered+source не получил никаких результатов.

Я хотел бы избежать второго вызова той же страницы по причинам пропускной способности/эффективности.

Answer 1

Невозможно напрямую получить доступ к неизмененному источнику (именуемому как источник просмотра в других браузерах) в PhantomJS.

Вы можете попробовать прочитать страницу из кеша PhantomJS (при запуске с --disk-cache=true option), но есть более простой способ. Вы можете просто отправить запрос AJAX, чтобы получить источник «на проводе», но тогда вам придется обрабатывать перенаправление самостоятельно.

var page = require('webpage').create(), 
    fs = require('fs'); 

function get(page, url) { 
    return page.evaluate(function(url){ 
     var xhr = new XMLHttpRequest(); 
     xhr.open('GET', url, false); 
     xhr.send(null); 
     return xhr.responseText; 
    }, url); 
} 

var url = 'http://example.com'; 

page.open(url, function(){ 
    var co = get(page, url); 
    fs.write("original.html", co); 
    fs.write("rendered.html", page.content); 
    phantom.exit(); 
}); 

Вы уже можете увидеть с помощью этого простого сценария, что эти два файла отличаются друг от друга, несмотря на то, что они не связаны с JavaScript.

Вам может потребоваться запустить с опцией --web-security=false. Вместо прохождения url в функцию get(), вы можете получить быстрый доступ к page.url:

function get(page, url) { 
    url = url || page.url; 
    return page.evaluate(function(url){ 
     var xhr = new XMLHttpRequest(); 
     xhr.open('GET', url, false); 
     xhr.send(null); 
     return xhr.responseText; 
    }, url); 
}