MongoDB Карта Уменьшить Term Frequency с Морфологическими и фразами

Question

мне нужно сделать Term Frequency Map/Reduce с изюминкой:

1. строчных термины
2. Отвернуть стопорные слова
3. Стволовых слова
4. разделены на фразы
5. счета каждая фраза
6. упорядочить по количеству по алфавиту

Что я имею в виду раскола в фразы выглядят следующим образом: у меня есть название «Дэвид убирает комнату», я хотел бы иметь следующие фразы подсчитаны в результатах:

Дэвид Дэвид убирает Дэвид убирает номера чистит чистит номера номера

Я в настоящее время имеют простые решения, которые не делают никаких фраз, стоп-слова или вытекающие:

var map = function() { 
    var summary = this.summary; 
    if (summary) { 
     // quick lowercase to normalize per your requirements 
     summary = summary.toLowerCase().split(" "); 
     for (var i = summary.length - 1; i >= 0; i--) { 
      // might want to remove punctuation, etc. here 
      if (summary[i]) {  // make sure there's something 
       emit(summary[i], 1); // store a 1 for each word 
      } 
     } 
    } 
}; 

var reduce = function(key, values) {  
    var count = 0;  
    values.forEach(function(v) {    
     count +=v;  
    }); 
    return count; 
} 

Я не уверен, что карта/сокращение mongodb может поддерживать прерывание и останавливать слова из коробки и как собрать все это вместе.

Уточнение: результатом Карты/Уменьшения будет коллекция с условиями и их частотой. Мне нужно постоянно обновлять эту коллекцию (ежедневно), чтобы мы могли видеть наиболее распространенные термины. Я надеюсь запустить начальный M/R, а затем ежедневное обновление последних записей.

Answer 1

Список функций вы описали именно то, что MongoDB-х text index обеспечивает:

• language-based stemming
• case-insensitive indexing
• option to set relative field weights
• search for single terms, multiple terms, or phrases
• результаты возвращаемые набрал по релевантности

Если вы хотите создать собственный полнотекстовый поиск, Map/Reduce не лучший подход. Для базового решения было бы лучше итератировать ваши документы, используя обычные find() и build a multi-key index на основе ваших требований к поиску по ключевым словам.

Вне MongoDB есть other text search options, которые могут быть интегрированы для обеспечения более расширенных параметров поиска, таких как грани, кластеризация и близость ключевых слов.

Answer 2

в последней версии mongodb 2.6 включает FTS (без бета-версии). Эта версия включает в себя создание снежного кома, стоп-слова для каждого языка.