Solr & Nutch - индексирование только определенных URL-адресов

Question

Я использую nutch 1.6 для сканирования и solr 3.6.2 для индексирования просканированных URL. Но, я хочу сохранить только URL-адреса, содержащие details.
Что я сделал, это добавить много (много) фильтров к nutch/conf/regex-urlfilter.txt.

Я хочу знать, есть ли лучшее решение, даже если я должен сканировать все данные (URL-адреса), а затем фильтровать только важный один раз в Solr (в команде Solrindex).

Answer 1

Если вам не нужны страницы, лучше всего отфильтровать их из самой индексации.
Однако, если у вас есть шаблон, который вы можете фильтровать в Solr, вы можете использовать filter queries, чтобы сделать фильтрацию.