Индексирование текстовых файлов в PHP

Question

У меня возникла задача создать индексатор, который принимает все слова 4 или более символов и сохраняет их в базе данных, а также сколько раз это слово использовалось.

Мне нужно запустить этот указатель на 4000 txt-файлов. В настоящее время это занимает около 12-15 минут - и мне интересно, есть ли у кого-нибудь предложение ускорить процесс?

В настоящее время я размещая слова в массив следующим образом:

// ============================================================== 
// === Create an index of all the words in the document 
// ============================================================== 
function index(){ 
    $this->index = Array(); 
    $this->index_frequency = Array(); 

    $this->original_file = str_replace("\r", " ", $this->original_file); 
    $this->index = explode(" ", $this->original_file); 

    // Build new frequency array 
    foreach($this->index as $key=>$value){ 
     // remove everything except letters 
     $value = clean_string($value); 

     if($value == '' || strlen($value) < MIN_CHARS){ 
      continue; 
     } 

     if(array_key_exists($value, $this->index_frequency)){ 
      $this->index_frequency[$value] = $this->index_frequency[$value] + 1; 
     } else{ 
      $this->index_frequency[$value] = 1; 
     } 
    } 
    return $this->index_frequency; 
} 

Я думаю, самое узкое место на данный момент является сценарий, чтобы сохранить слова в базе данных. Необходимо добавить документ в таблице эссе, а затем, если слово существует в таблице просто добавьте essayid (частота слова) в поле, если слово оленья кожа существовать, а затем добавить его ...

// ============================================================== 
// === Store the word frequencies in the db 
// ============================================================== 
private function store(){ 
    $index = $this->index(); 

    mysql_query("INSERT INTO essays (checksum, title, total_words) VALUES ('{$this->checksum}', '{$this->original_filename}', '{$this->get_total_words()}')") or die(mysql_error()); 

    $essay_id = mysql_insert_id(); 

    foreach($this->index_frequency as $key=>$value){ 

     $check_word = mysql_result(mysql_query("SELECT COUNT(word) FROM `index` WHERE word = '$key' LIMIT 1"), 0); 

     $eid_frequency = $essay_id . "(" . $value . ")"; 

     if($check_word == 0){ 
      $save = mysql_query("INSERT INTO `index` (word, essays) VALUES ('$key', '$eid_frequency')"); 
     } else { 
      $eid_frequency = "," . $eid_frequency; 
      $save = mysql_query("UPDATE `index` SET essays = CONCAT(essays, '$eid_frequency') WHERE word = '$key' LIMIT 1"); 
     } 
    } 
} 

Answer 1

Вы можете рассмотреть возможность профилирования своего приложения, чтобы точно знать, где ваши узкие места. Это может дать вам лучшее понимание того, что можно улучшить.

Что касается оптимизации БД: проверьте, есть ли у вас индекс в столбце word, затем попробуйте уменьшить количество раз, когда вы получаете доступ к БД. INSERT ... ON DUPLICATE KEY UPDATE ..., может быть?