объединить несколько текстовых файлов и удалить дубликаты

Question

У меня около 350 текстовых файлов (и каждый файл составляет около 75 МБ). Я пытаюсь объединить все файлы и удалить повторяющиеся записи. Файл находится в следующем формате:

ip1,dns1 
ip2,dns2 
... 

Я написал небольшой скрипт, чтобы сделать это

#!/bin/bash 
for file in data/* 
do 
    cat "$file" >> dnsFull 
done 
sort dnsFull > dnsSorted 
uniq dnsSorted dnsOut 
rm dnsFull dnsSorted 

Я делаю эту обработку часто и было интересно, если есть что-то я мог бы сделать, чтобы улучшить обработка в следующий раз при запуске. Я открыт для любого языка программирования и предложений. Благодаря!

Answer 1

Прежде всего, вы не используете полную мощность cat. Цикл можно заменить на

cat data/* > dnsFull 

Предполагая, что файл изначально пуст.

Тогда есть все эти временные файлы, которые заставляют программы ждать жестких дисков (обычно самые медленные части в современных компьютерных системах). Использование трубопровода:

cat data/* | sort | uniq > dnsOut 

Это по-прежнему расточительно, так как только sort может делать то, что вы используете cat и uniq для; весь сценарий может быть заменен

sort -u data/* > dnsOut 

Если это еще не достаточно быстро, то понимают, что сортировка занимает O (п Л.Г. п) время, в то время как дедупликация может быть сделана в линейное время с Awk:

awk '{if (!a[$0]++) print}' data/* > dnsOut