Bash scripting: почему последняя строка, отсутствующая в этом файле, добавляется?

Question

Я пишу скрипт bash для чтения набора файлов по строкам и выполнения некоторых изменений. Начнем с того, что я просто пытаюсь переместить файлы в места резервного копирования и записать их как есть, чтобы проверить, работает ли скрипт. Однако он не копирует последнюю строку каждого файла. Вот фрагмент кода:

while IFS= read -r line 
    do 
      echo "Line is ***$line***" 
      echo "$line" >> $POM 
    done < $POM.backup 

Я, очевидно, хотят, чтобы сохранить пробелы при копировании файлов, поэтому я поставил МФС к нулю. Я вижу на выходе, что последняя строка каждого файла читается, но никогда не появляется на выходе.

Я также попытался альтернативный вариант, который делает печать последней строки, но добавляет символ новой строки к нему:

while IFS= read -r line || [ -n "$line" ] 
    do 
      echo "Line is ***$line***" 
      echo "$line" >> $POM 
    done < $POM.backup 

Что такое лучший способ сделать это сделать эту операцию чтения-записи, записывать файлы точно так, как они есть, с правильными пробелами и новыми символами новой строки?

Answer 1

Команда, которая добавляет подачу линии (LF), составляет , а не команда read, но команда echo. read делает не возвращает линию с разделителем, все еще прикрепленным к ней; скорее, он удаляет разделитель (т. е. он удаляет его, если он присутствует в строке, IOW, если он просто читает полную строку).

Для решения этой проблемы вам необходимо использовать echo -n, чтобы избежать добавления разделителя, но только, когда у вас есть неполная строка.

Во-вторых, я обнаружил, что при предоставлении read с NAME (в вашем случае line), он урезает начальные и конечные пробелы, которые я не думаю, что вы хотите. Но это можно решить, не предоставив вообще NAME и используя возвращаемую по умолчанию переменную REPLY, которая сохранит все пробелы.

Таким образом, это должно работать:

#!/bin/bash 

inFile=in; 
outFile=out; 

rm -f "$outFile"; 

rc=0; 
while [[ $rc -eq 0 ]]; do 
    read -r; 
    rc=$?; 
    if [[ $rc -eq 0 ]]; then ## complete line 
     echo "complete=\"$REPLY\""; 
     echo "$REPLY" >>"$outFile"; 
    elif [[ -n "$REPLY" ]]; then ## incomplete line 
     echo "incomplete=\"$REPLY\""; 
     echo -n "$REPLY" >>"$outFile"; 
    fi; 
done <"$inFile"; 

exit 0; 

Edit: Wow! Три замечательных предложения от Чарльза Даффи, вот обновленный сценарий:

#!/bin/bash 

inFile=in; 
outFile=out; 

while { read -r; rc=$?; [[ $rc -eq 0 || -n "$REPLY" ]]; }; do 
    if [[ $rc -eq 0 ]]; then ## complete line 
     echo "complete=\"$REPLY\""; 
     printf '%s\n' "$REPLY" >&3; 
    else ## incomplete line 
     echo "incomplete=\"$REPLY\""; 
     printf '%s' "$REPLY" >&3; 
    fi; 
done <"$inFile" 3>"$outFile"; 

exit 0; 

Answer 2

Добавить новую строку, если линия не является строкой. Как это:

while IFS= read -r line 
do 
    echo "Line is ***$line***"; 
    printf '%s' "$line" >&3; 
    if [[ ${line: -1} != '\n' ]] 
    then 
     printf '\n' >&3; 
    fi 
done < $POM.backup 3>$POM 

Answer 3

После обзора я интересно, если:

{ 
line= 
while IFS= read -r line 
do 
    echo "$line" 
    line= 
done 
echo -n "$line" 
} <$INFILE >$OUTFILE 

это выпирает не хватает ...

Вот мое первоначальное предложение:

#!/bin/bash 

INFILE=$1 

if [[ -z $INFILE ]] 
then 
    echo "[ERROR] missing input file" >&2 
    exit 2 
fi 

OUTFILE=$INFILE.processed 

# a way to know if last line is complete or not : 
lastline=$(tail -n 1 "$INFILE" | wc -l) 

if [[ $lastline == 0 ]] 
then 
    echo "[WARNING] last line is incomplete -" >&2 
fi 

# we add a newline ANYWAY if it was complete, end of file will be seen as ... empty. 
echo | cat $INFILE - | { 
    first=1 
    while IFS= read -r line 
    do 
     if [[ $first == 1 ]] 
     then 
     echo "First Line is ***$line***" >&2 
     first=0 
     else 
     echo "Next Line is ***$line***" >&2 
     echo 
     fi 
     echo -n "$line" 
    done 
} > $OUTFILE 

if diff $OUTFILE $INFILE 
then 
    echo "[OK]" 
    exit 0 
else 
    echo "[KO] processed file differs from input" 
    exit 1 
fi 

Идея заключается в том, чтобы всегда добавьте новую строку в конец файла и напечатайте новые строки только прочитанные строки BETWEEN.

Это должно работать практически для всех текстовых файлов, если они не содержат 0 байт, то есть символ \ 0, и в этом случае 0 байт-символ будет потерян.

Первоначальный тест может быть использован для определения приемлемого или неполного текстового файла.