Индексирования большая БД с Lucene/РНР

Question

Дневного CHAPS,

Попытки индекса таблицы с 1.7million строки с портом Zend Lucene из. На небольших тестах в несколько тысяч строк она работала отлично, но как только я пытаюсь собрать строки до нескольких десятков тысяч, это истекает. Очевидно, я мог бы увеличить время, которое php позволяет сценарию запускать, но, увидев, что за 360 секунд получается ~ 10 000 строк, мне было бы неловко думать, сколько секунд потребуется, чтобы сделать 1.7 миллиона.

Я также попытался сделать скрипт за несколько тысяч, обновить, а затем запустить следующие несколько тысяч, но это каждый раз очищает индекс.

Любые идеи парней?

Спасибо :)

Answer 1

Прошу прощения, потому что разработчик Zend_Search_Lucene - друг, и он очень усердно работал над этим, но, к сожалению, он не подходит для создания индексов на наборах данных любого нетривиального размера.

Используйте Apache Solr для создания индексов. У меня есть tested, что Solr работает более чем в 300 раз быстрее, чем Zend для создания индексов.

Вы можете использовать Zend_Search_Lucene для выдачи запросов по индексу, созданному с помощью Apache Solr.

Конечно, вы также можете использовать расширение PHP PECL Solr, которое я бы рекомендовал.

Answer 2

Попробуйте ускоряя его, выбрав только те поля, которые требуют от этой таблицы.

Если это что-то для запуска в качестве cronjob или рабочего, то оно должно запускаться из CLI, и для этого я не понимаю, почему изменение таймаута было бы плохо. Вам нужно только создать индекс один раз. После этого новые записи или обновления для них представляют собой небольшие обновления для вашей базы данных Lucene.

Answer 3

Некоторая информация для всех вас - размещение в качестве ответа, поэтому я могу использовать стили кода.

$sql = "SELECT id, company, psearch FROM businesses"; 
$result = $db->query($sql);  // Run SQL 

$feeds = array(); 

$x = 0; 
while ($record = $result->fetch_assoc()) { 
    $feeds[$x]['id'] = $record['id']; 
    $feeds[$x]['company'] = $record['company']; 
    $feeds[$x]['psearch'] = $record['psearch']; 
    $x++; 
} 

//grab each feed 

foreach($feeds as $feed) { 
    $doc = new Zend_Search_Lucene_Document(); 

    $doc->addField(Zend_Search_Lucene_Field::UnIndexed('id', 
    $feed["id"])); 

    $doc->addField(Zend_Search_Lucene_Field::Text('company', 
    $feed["company"])); 

    $doc->addField(Zend_Search_Lucene_Field::Text('psearch', 
    $feed["psearch"])); 

    $doc->addField(Zend_Search_Lucene_Field::UnIndexed('link', 
    'http://www.google.com')); 


    //echo "Adding: ". $feed["company"] ."-".$feed['pcode']."\n"; 

    $index->addDocument($doc); 
} 



$index->commit(); 

(я использовал google.com в качестве ссылки TEMP)

Сервер работает на его является локальная установка в Ubuntu 8.10, 3Gb RAM и 3,2 ГГц чип Dual Pentium.