0
На какой criteia nutch выбирает TopN docs при сканировании? И как nutch создает сегменты.?На какой criteia nutch выбирает TopN docs при сканировании?
A
ответ
1
Вот вещи, которые принимаются во внимание:
- Партитура URL
- сколько ссылок, принадлежащие одному и тому же хосту разрешено сканировать.
- Получено ли время повторного ввода URL-адреса?
Смежные вопросы
- 1. IOExeption при сканировании с Nutch
- 2. Как изменить конфигурацию apache nutch при сканировании
- 3. Nutch выбирает уже выбранные URL-адреса
- 4. Nutch - есть -depth и -topN по-прежнему доступны в 1.6
- 5. java.lang.NullPointerException при сканировании каталогов
- 6. Ошибка при выполнении Apache Nutch-2.2.1
- 7. Ошибка при запуске Nutch on OSX mascrics
- 8. Программа останавливается при сканировании
- 9. yaml.scanner.ScannerError: при сканировании директивы
- 10. ServerErrorException при сканировании сайта
- 11. Запуск программы при сканировании?
- 12. EOFException при работе nutch на hadoop
- 13. Spark: TopN после GroupBy
- 14. Nutch regex for crawl
- 15. TopN as IEnumerable extension
- 16. nutch vs solr indexing
- 17. OBIEE TOPN Функция дисплея
- 18. Как установить topN через обходной шквал SCRIPT
- 19. Nutch 2.3.1 на cassandra не удалось запустить
- 20. Запуск Nutch crawls на EMR (новичок)
- 21. dc.js rowChart topN без нулей
- 22. автофокусировку при сканировании QR-код
- 23. Влияние глубины, topn на обрезку ореха
- 24. настройка nutch regex-normalize.xml
- 25. Nutch ползать команда
- 26. InputMismatchError при сканировании из файла
- 27. Рекомендатор не предлагает список topN
- 28. Apache Nutch NoSuchElementException с bin/nutch inject, readdb, сгенерировать параметры
- 29. Nutch Неизвестный фильтр и Нормализация
- 30. Получение пустой строки при сканировании
У меня есть два сайта для ползания в nutch 2.1, но только один сайт обходит. Как сканировать второй сайт вместе с первым сайтом? Я добавил оба сайта в файл regex-urlfilter, но только 20 URL-адресов были исправлены со второго сайта, в то время как первый сайт имеет уже загруженные URL-адреса 16k, а новые URL-адреса получаются только с первого сайта. – peter
@peter Несколько факторов могут быть там .. это 2-й сайт с жесткими ограничениями на роботы? есть ли какие-либо исключения при получении ответа HTTP/контента, такого как ReadTimeOut, Socket etc? есть ли URL-адреса второго хоста, которые имеют право на получение? могут ли те, которые выбраны, создавать исходящие ссылки? Запуск отдельного локального режима сканирования на втором хосте и проверка журналов, сегментов и crawldb помогут выяснить проблему –
. У 2-го сайта есть больше каталогов, которые запрещены, но я не думаю, что это влияет на выборку. существует около 180 URL-адресов, которые отбираются. как запустить отдельный обход локального режима? Я использую mysql, поэтому сегментов и crawldb-папок нет. – peter