Какое из двух лучше в манипулировании файлами?

Question

У меня есть файл tbook1 с множеством числовых значений (+ 2M). Я должен выполнить ниже в Баш (Solaris/RHEL):

Do following: 
Remove 1st and last 2 lines 
Remove (,") & (") 
Substitute (,) with (,) 

я могу сделать это с помощью двух методов:

Method1: 
sed -e 1d -e 's/,"//g' -e 's/, /,/g' -e 's/"//g' -e 'N;$!P;$!D;$d' tbook1 > tbook1.3 

method2: 
tail -n +2 tbook1 | head -n -2 > tbook1.1 
sed -e 's/,"//' -e 's/, //' tbook 1.1 > tbook1.2 

Я хочу знать, какой из них лучше т.е. быстрее & эффективным (ресурс Применение) ?

Answer 1

Метод 1, как правило, быть более эффективными, в основном из-за 2-й способ по дополнительной трубе и промежуточный файл, который будет чтение и запись ..

Answer 2

Метод один сканирует файл только один раз и записывает 1 результат (но, пожалуйста, храните результат в файле с другим именем) Метод два 2 сканирует исходный файл и промежуточный результат и записывает промежуточный и конечный результат. Он должен быть примерно в два раза медленнее.

Answer 3

Я думаю, что head и tail более эффективны для этой задачи ликвидации линии, чем чистый sed. Но другие два ответа также верны. Вам следует избегать запуска нескольких проходов.

Вы можете улучшить второй метод, приковав их вместе:

tail -n +2 book.txt | head -n -2 | sed -e 's/,"//' -e 's/, //' 

Тогда head и tail быстрее. Попробуйте сами (на разумном файл размером):

#!/usr/bin/env bash 

target=/dev/null 

test(){ 
     mode=$1 
     start=$(date +%s) 
     if [ $mode == 1 ]; then 
       sed -e 1d -e 's/,"//g' -e 's/, /,/g' -e 's/"//g' -e 'N;$!P;$!D;$d' book.txt > $target 
     elif [ $mode == 2 ]; then 
       tail -n +2 book.txt | head -n -2 | sed -e 's/,"//' -e 's/, //' > $target 
     else 
       cat book.txt > /dev/null 
     fi 

     ((time = $(date +%s) - $start)) 
     echo $time "seconds" 
} 

echo "cat > /dev/null" 
test 0 

echo "sed > $target" 
test 1 

echo "tail/head > $target" 
test 2 

Мои результаты:

cat > /dev/null 
0 seconds 

sed > /dev/null 
5 seconds 

tail/head > /dev/null 
3 seconds