Rails 3 драгоценный камень: простой скребок

Question

Есть ли хороший скребок для рельсов? Я помню, как недавно читал сообщение в блоге, но не могу найти его атм.

Thanks

Answer 1

Nokogiri, а также проверка SelectorGadget - генерирует CSS селекторы для вас

Answer 2

Много существует. Попробуйте ScrAPI (см. http://railscasts.com/episodes/173-screen-scraping-with-scrapi) или Nokogiri (см. http://railscasts.com/episodes/190-screen-scraping-with-nokogiri).

Answer 3

Mechanize, Hpricot также очень полезны. Обратитесь к следующим ссылкам, чтобы узнать, как начать с этих инструментов -

http://rorguide.blogspot.com/2011/04/simple-ruby-screen-scraper-using.html (Simple Рубиновый Скребок экрана с помощью Mechanize, Hpricot и XPath)

http://rorguide.blogspot.com/2011/04/simple-ruby-screen-scraper-in-just-5.html (Simple Рубиновый Скребок экрана всего за 5 строк без использования XPath)

Answer 4

Пробовал как ScrAPI, так и Nokogiri для моего применения.

Nokogiri более устойчив к различным кодировкам (utf, windows-XXXX и т. Д.). Это просто работает.

С ScrAPI мне пришлось сначала определить кодировку, как описано in this article. Не стоит беспокоиться с Nokogiri, поскольку он обрабатывает кодировку изящно.