Самый быстрый/самый эффективный способ сравнения двух массивов строк Javascript

Question

Привет, мне было интересно, может ли кто-нибудь предложить совет по самому быстрому/наиболее эффективному способу составить два массива строк в javascript.

Я разрабатываю вид типа облачного типа тегов, основанный на вводе пользователей - вход в форме написанного фрагмента текста, например, статьи в блоге или подобных.

поэтому у меня есть массив, который я храню слов, чтобы не включать - это, а, и т.д. и т.п.

На данный момент я делаю следующее:

Удалить все знаки препинания из строки ввода , tokenize, сравнить каждое слово с массивом exclude и затем удалить любые дубликаты.

Сравнение выполняется с помощью циклического перебора каждого элемента в массиве exclude для каждого слова во входном тексте - это похоже на грубую силу и сбой Internet Explorer на массивах более чем на несколько сотен слов.

Я также должен упомянуть, что мой список исключений насчитывает около 300 наименований.

Любая помощь будет действительно оценена.

Благодаря

Answer 1

Вы можете использовать хэш-функцию для строк (я не знаю, если JS имеет один, но я уверен, что дядя Google может помочь;]). Затем вы вычисляете хэши для всех слов в вашем списке исключений и создаете массив af booleans, индексированный этими хэшами. Затем просто перебираем текст и проверяем хэши слова на этот массив.

Answer 2

Я не уверен в целом, но вместо того, чтобы строить массив, а затем перебирать его, почему бы не поместить «ключи» в объект «как» для упрощения сравнения?

например.

var excludes = {};//object 
//set keys into the "map" 
excludes['bad'] = true; 
excludes['words'] = true; 
excludes['exclude'] = true; 
excludes['all'] = true; 
excludes['these'] = true; 

Затем, когда вы хотите сравнить ... вобще

var wordsToTest = ['these','are','all','my','words','to','check','for']; 
var checkWord; 
for(var i=0;i<wordsToTest.length;i++){ 
    checkWord = wordsToTest[i]; 
    if(excludes[checkword]){ 
    //bad word, ignore... 
    } else { 
    //good word... do something with it 
    } 
} 

позволяет эти слова через ['are','my','to','check','for']

Answer 3

Это стоило бы попытаться объединить эти слова в одно регулярное выражение, и затем сравните с этим. Оптимизация двигателя регулярного выражения может позволить поиску пропустить вперед текст поиска намного эффективнее, чем вы могли бы сделать, итерации себя по отдельным строкам.

Answer 4

Я принял ответ scunliffe и изменил его следующим образом:

var excludes = ['bad','words','exclude','all','these']; //array 

теперь позволяет прототипу функцию, которая проверяет, является ли значение внутри массива:

Array.prototype.hasValue= function(value) { 
    for (var i=0; i<this.length; i++) 
     if (this[i] === value) return true; 
    return false; 
} 

позволяет проверить некоторые слова:

var wordsToTest = ['these','are','all','my','words','to','check','for']; 
var checkWord; 
for(var i=0; i< wordsToTest.length; i++){ 
    checkWord = wordsToTest[i]; 
    if(excludes.hasValue(checkWord)){ 
    //is bad word 
    } else { 
    //is good word 
    console.log(checkWord); 
    } 
} 

выход:

['are','my','to','check','for'] 

Answer 5

Я выбрал бы для версии регулярных выражений

text = 'This is a text that contains the words to delete. It has some <b>HTML</b> code in it, and punctuation!'; 
deleteWords = ['is', 'a', 'that', 'the', 'to', 'this', 'it', 'in', 'and', 'has']; 

// clear punctuation and HTML code 
onlyWordsReg = /\<[^>]*\>|\W/g; 
onlyWordsText = text.replace(onlyWordsReg, ' '); 

reg = new RegExp('\\b' + deleteWords.join('\\b|\\b') + '\\b', 'ig'); 
cleanText = onlyWordsText .replace(reg, ''); 

// tokenize after this