Сравнение тысяч файлов эффективно Java

Question

Скажем, у нас есть 2 папки, каждая из которых содержит 1000 файлов, и мне нужно проверить похожие слова, используемые в них.

фиктивный подход был бы

for(File f : folderA){ 
    for(File g : folderB){ 
     compare 
    } 
} 

, но это было бы неразумно делать много сравнения, и занимает память и время. Интересно, есть ли лучшие способы сделать это?

Answer 1

Просто используйте карту. Примечание. В зависимости от того, что вы пытаетесь сравнить, измените код соответствующим образом.

Map<File,Integer> map = new HashMap<>(); 
for(File f : folderA){ 
    Integer count = 0; 
    if(map.get(f)==null){ 
     map.put(f,1); 
    }else{ 
     count = map.get(f); 
     map.put(f,++count); 
    } 
} 

Вы можете перемещаться по карте и получать значение каждого элемента. Значение каждого элемента карты указывает количество похожих элементов в вашей коллекции.

Переберите карту:

for (Map.Entry<File, Integer> entry : map.entrySet()) { 

    } 

Big (O) является линейным для этого алгоритма, довольно быстро.

Answer 2

В зависимости от того, что вы пытаетесь сделать.

Вы можете создать Map сопоставление File s с множеством различных содержащихся слов, а затем сравнить пары множеств. В идеале, и принимая данные здравого смысла, это займет гораздо меньше времени, чем чтение каждой пары файлов.

В качестве альтернативы, вы можете написать Map слов в файлах, содержащих их. Итак, для каждого слова вы узнаете, появляется ли оно в нескольких файлах.

Answer 3

Как я могу добавить, если вы проверяете сходства, а не для одинаковых слов, я предлагаю вам рассчитать doubleMetaphone см https://commons.apache.org/proper/commons-codec/apidocs/org/apache/commons/codec/language/DoubleMetaphone.html всех соответствующих слов (удалить статьи, как «это» и так далее).