nutch и sitemap.xml

Question

делает apache-nutch поддержку файлов Sitemap? или как я могу реализовать его сам? как я могу использовать поле приоритета, следует ли его умножать на увеличение поля?

Answer 1

Не знаю, о чем я знаю. В зависимости от поведения, которое вы ожидаете от их множественных реализаций, можете ли вы быть более конкретным? Например: + вы можете сделать так, чтобы новые файлы Sitemap были «введены» с высокой оценкой, поэтому они будут просканированы раньше. Для этого просто добавьте команду ввода перед запуском нового цикла crawl/fetch/index + вы можете создать плагин подсчета очков, который увеличит URL-адрес, найденный в файлах Sitemap ... Но вы не можете определять периоды повторного поиска на уровне URL , как указывает карта сайта. У Nutch есть встроенная функция, которая чаще повторяется URL-адрес, который изменяется скорее наоборот. Однако вы можете решить увеличить количество URL-адресов с частыми частотами обновления, так что они будут сканироваться ранее ...

Answer 2

Я думаю, что они поддерживают его сейчас. Я нашел его по этой ссылке

https://wiki.apache.org/nutch/SitemapFeature