Взаимодействие Scraperjs со страницей

Question

Кто-то использует https://github.com/ruipgil/scraperjs для очистки веб-страниц? Я не могу понять, как взаимодействовать со страницей? Как получить результаты поиска в Google. Это должно быть сделано как функция scrape() или раньше?

Answer 1

Вы должны проверить API cheerio. Scraperjs использует его для разбора. Здесь вы можете пояснить, что вы хотите получить на определенной странице, и я дам вам образец кода.

Вот код для получения URL от Google запрос

var scraperjs = require('scraperjs') 

scraperjs.StaticScraper 
    .create('https://www.google.ru/search?q=scraperjs') 
    .scrape(function($) { 
    return $('li.g').map(function() { 
     return $(this).find('a').first().attr('href') 
    }).get(); 
    }, function(news) { 
    news.forEach(function(elm) { 
     console.log(elm); 
    }); 
    }); 

~