Индексирование wikipedia dump with solr

Question

У меня есть solr 3.6.2, установленный на моей машине, отлично работающий с tomcat. Я хочу индексировать файл дампа википедии, используя solr. Как это сделать с помощью DataImportHandler? Любым другим путем? Я не знаю xml.

Файл, о котором я упоминал, имеет размер около 45 ГБ при извлечении. Любая помощь будет принята с благодарностью.

Update- Я пробовал делать то, что было сказано на странице DataImportHandler. Но есть некоторая ошибка, возможно, потому что их версия solr намного старше.

Мои data.config-

<dataConfig> 
    <dataSource type="FileDataSource" encoding="UTF-8" /> 
    <document> 
    <entity name="page" 
      processor="XPathEntityProcessor" 
      stream="true" 
      forEach="/mediawiki/page/" 
      url="./data/enwiki.xml" 
      transformer="RegexTransformer,DateFormatTransformer" 
      > 
     <field column="id"  xpath="/mediawiki/page/id" /> 
     <field column="title"  xpath="/mediawiki/page/title" /> 
     <field column="revision" xpath="/mediawiki/page/revision/id" /> 
     <field column="user"  xpath="/mediawiki/page/revision/contributor/username" /> 
     <field column="userId" xpath="/mediawiki/page/revision/contributor/id" /> 
     <field column="text"  xpath="/mediawiki/page/revision/text" /> 
     <field column="timestamp" xpath="/mediawiki/page/revision/timestamp" dateTimeFormat="yyyy-MM-dd'T'hh:mm:ss'Z'" /> 
     <field column="$skipDoc" regex="^#REDIRECT .*" replaceWith="true" sourceColName="text"/> 
    </entity> 
    </document> 

схемы (я только добавил части они дали на веб-сайте в мой файл schema.xml)

Ошибка я получаю -

<response> 
<lst name="responseHeader"> 
<int name="status">0</int> 
<int name="QTime">0</int> 
</lst> 
<lst name="initArgs"> 
<lst name="defaults"> 
<str name="config">solr-data-config.xml</str> 
</lst> 
</lst> 
<str name="command">full-import</str> 
<str name="status">idle</str> 
<str name="importResponse"/> 
<lst name="statusMessages"> 
<str name="Time Elapsed">0:0:1.381</str> 
<str name="Total Requests made to DataSource">0</str> 
<str name="Total Rows Fetched">0</str> 
<str name="Total Documents Processed">0</str> 
<str name="Total Documents Skipped">0</str> 
<str name="">Indexing failed. Rolled back all changes.</str> 
<str name="Rolledback">2013-05-17 16:48:32</str> 
</lst> 
<str name="WARNING"> 
This response format is experimental. It is likely to change in the future. 
</str> 
</response> 

пожалуйста, помогите

Answer 1

Простой пост - это неверный способ индексирования Википедии. Вы должны посмотреть в using DataImportHandler instead. DIH поддерживает потоковый импорт.