Узел Cheerio, чтобы очистить весь сайт

Question

Кто-нибудь использовал Node Cheerio, чтобы очистить весь сайт, а не только домашнюю страницу/первую страницу, на которую указывает скребок?

В тот момент, когда я делаю следующее, которое только сбрасывает целевую страницу.

request('http://arandomsite.com/', function (error, response, html) { 
    if (!error && response.statusCode == 200){ 
     var $ = cheerio.load(html); 
      ... 
      ... 
      ... 
}; 

Answer 1

Я никогда не использовал Cheerio, но я бы предположить (как и с другими скребками майских), то это будет только сделать страницу, указать его. Если предположить, что cheerio.load возвращает JQuery, как API, вы, вероятно, придется сделать что-то вроде

$('a').each(function(index, a) { 
    //TODO: You may want to keep track here of which you have done, and not redo any. 
    request('http://arandomsite.com' + a.attr('href'), myPageProcessFunction); 
}); 

Очевидно, что вам нужно будет добавить такие вещи, как фреймов, а также, чтобы убедиться, что вы получите полный результат.

Для того, чтобы уточнить, вот некоторые обновленный код:

request('http://arandomsite.com/', function responseFunction(error, response, html) { 
if (!error && response.statusCode == 200){ 
    var $ = cheerio.load(html); 
    $('a').each(function(index, a) { 
     request('http://arandomsite.com' + a.attr('href'), responseFunction); 
    }); 
}; 
});