Анализ больших файлов HTML с помощью Nokogiri

Question

Я пытаюсь разобрать http://www.pro-medic.ru/index.php?ht=246&perpage=all с Nokogiri, но, к сожалению, я не могу получить все элементы со страницы.

Мой простой тест код:

require 'open-uri' 
require 'nokogiri' 

html = Nokogiri::HTML open('http://www.pro-medic.ru/index.php?ht=246&perpage=all') 
p html.css('ul.products-grid-compact li .goods_container').count 

Он возвращает только 83 пунктов, но реальный отсчет около 186.

Я думал, что проблема может быть в open, но мне кажется, что функция читает HTML-страницы правильно.

Есть ли у кого-то такая же проблема?

Answer 1

Файл, кажется, превышает пределы анализатора Нокигири. Вы можете расслабить ограничения пути добавления HUGE флага:

require 'open-uri' 
require 'nokogiri' 

url = 'http://www.pro-medic.ru/index.php?ht=246&perpage=all' 
html = Nokogiri::HTML(open(url)) do |config| 
    config.options |= Nokogiri::XML::ParseOptions::HUGE 
end 
html.css('ul.products-grid-compact li .goods_container').count 
#=> 186 

Обратите внимание, что |= является оператором побитового ИЛИ задания, не следует путать его с логическим оператором ||=

Согласно Parse Options, вы можете также установить этот флаг через config.huge