nutch crawling is crawling 'as â €

Question

nutch crawler сканирует let's как Let’s y ??? есть ли какие-либо настройки для изменения этой кодировки.

Answer 1

’ - это кодировка UTF-8 одной закрывающей цитаты (а не апострофа), и вы интерпретируете ее как Windows-1252. Вам нужно использовать правильную кодировку (UTF-8). This link может помочь.

Answer 2

Я не использовал Nutch себя, но this page выглядит это отношение:

Чтобы включить прохождение UTF-8 символов, редактировать $ TOMCAT/CONF/server.xml. Найдите < Connector> тег для веб (искать «8080») и вставьте эту параметризацию: URIEncoding = «UTF-8», как описано в Tomcat 5 FAQ по http://tomcat.apache.org/faq/connectors.html#utf8