Можно ли очистить сайт React (Instagram) с Cheerio?

Question

Я пытаюсь очистить Instagram (построенный с помощью React) с помощью Node.js/Cheerio. Отладка документа показывает возвращаемый объект, но он не похож на типичный ответ.

Я предполагаю, что это связано с реакцией. Есть ли способ обойти это и вытащить предоставленную DOM для синтаксического анализа с Cheerio? Или я чего-то не хватает?

Заранее спасибо.

Answer 1

В общем случае - если веб-сайт является дружественным к SEO, вы можете сделать это путем подмены строки пользовательского агента искателя веб-страниц. Это возвращает рендер DOM, который может быть проанализирован Cheerio.

В конкретном случае - Instagram возвращает рендер DOM на своих мобильных веб-сайтах. Объедините строку пользовательского агента мобильного телефона, и вы можете проанализировать возвращаемые данные.

 var options = { 
     url: user.instagram_url, 
     headers: { 
      'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/600.1.3 (KHTML, like Gecko) Version/8.0 Mobile/12A4345d Safari/600.1.4' 
     } 
     }; 

     request(options, function(error, response, html) { 
     if (!error) { 

      console.log('Scraper running on Instagram user page.'); 

      // Use Cheerio to load the page. 
      var $ = cheerio.load(html); 

      // Code to parse the DOM here 

     } 
     }