Crawler/parser for Xapian

Question

Я хотел бы внедрить поисковую систему, которая должна сканировать набор веб-сайтов, извлекать определенную информацию со страниц и создавать полнотекстовый индекс этой конкретной информации.

Мне кажется, что Xapian может быть хорошим выбором для библиотеки поисковых систем.

Каковы параметры для искателя/парсера для интеграции с Xapian?

Будет ли Solr лучшим выбором, чем Xapian для интеграции с open-source crawlers/parsers?

Answer 1

Here's небольшое сравнение между Xapian и Solr.

Но если вы хотите построить гусеничный ход, взгляните на Nutch. Это extensible with plugins, поэтому вы можете написать плагин, который анализирует информацию, которую вы ищете.

Answer 2

Flax может предоставить некоторые из того, что вы ищете.