Вложенная петля слишком медленная: обход записи 1MN

Question

У меня огромное количество файлов, около 200 000 записей в файле. Я тестировал некоторые случаи, когда мне нужно выяснить, что шаблон именования файлов соответствует некоторым конкретным строкам. Вот как я предшествовал:

Тестовые строки, хранящиеся в файле (скажем, для одного случая, они равны 10). Фактический файл, содержащий строковые записи, разделенные символом новой строки; на общую сумму до 200 000 записей. Чтобы проверить, существуют ли шаблоны тестовых строк в большом файле, я написал небольшой вложенный цикл.

for i in `cat TestString.txt` 
do 
for j in `cat LargeFile.txt` 
do 
if [[ $i == $j ]] 
then 
echo "Match" >> result.txt 
fi 
done 
done 

Эта вложенная петля фактического должен делать обход (если я не ошибаюсь в понятиях), 10x200000 раз. Обычно я не вижу, что на сервере слишком много нагрузки, но время, как все время. Отрывок работает в течение последних 4 часов, с определенными «согласованными» результатами.

Есть ли у кого-нибудь идеи по ускорению этого? Я нашел так много ответов с python или perl touch, но я честно искал что-то в Unix.

Благодаря

Answer 1

Попробуйте следующее:

grep -f TestString.txt LargeFile.txt >> result.txt 

Answer 2

ЗАКАНЧИВАТЬ grep

while read line 
do 
    cat LargeFile.txt | grep "$line" >> result.txt 
done < TestString.txt 

Grep выход будет все совпадения строки. Это может быть быстрее. Обратите внимание, что в вашем файле TestString.txt не должно быть пустых строк, или grep вернет все из файла LargeFile.txt.