Алгоритм подсчета вхождений слов в строку

Question

Я пытаюсь построить алгоритм для просмотра, какие слова в комментариях больше всего встречаются.

Поэтому я пришел с этим (в Javascript):

var analyze = function(comments){ 
    var detectedWords = []; 
    var result = {}; 
    comments.forEach(function(comment){ 
     var words = comment.message.split(" "); 
     words.forEach(function(word){ 
      word = word.toLowerCase(); 
      if(word !== ""){ 
       if(detectedWords.indexOf(word) === -1){ 
        detectedWords.push(word); 
        result[detectedWords.indexOf(word)] = {"name":word,"count":1}; 
       }else{ 
        result[detectedWords.indexOf(word)].count++; 
       } 
      } 
     }); 
    }); 

    return _.orderBy(result, ['count'], ['desc']); 
} 

Может ли алгоритм быть оптимизировано дальше? (ToLowerCase() вне внутреннего цикла?

В следующем шаге я определил бы «черный список» или слова, которые не интересны, как «это я, утро, это ...»

Answer 1

You может использовать хэш-таблицу для справки к элементу массива для более быстрого доступа к объекту подсчета. result теперь массив, который теперь сортируется.

var analyze = function (comments) { 
 
    var result = [], 
 
     hash = {}; 
 
    comments.forEach(function (comment) { 
 
     var words = comment.message.split(" "); 
 
     words.forEach(function (word) { 
 
      word = word.toLowerCase(); 
 
      if (word !== "") { 
 
       if (!hash[word]) { 
 
        hash[word] = { name: word, count: 0 }; 
 
        result.push(hash[word]); 
 
       } 
 
       hash[word].count++; 
 
      } 
 
     }); 
 
    }); 
 

 
    return result.sort(function (a, b) { return b.count - a.count;}); 
 
    //return _.orderBy(result, ['count'], ['desc']); 
 
} 
 

 
console.log(analyze([{ message: 'a b c d a v d e f g q' }]));