Подсчет запятых в строке в bash

Question

Иногда я получаю CSV-файл, который имеет возврат каретки внутри ячейки. Это не приемлемый формат для программы, которая будет использовать ее в качестве входных данных.

Чтобы определить, была ли разделена линия ввода, я решил, что у плохой строки не будет ожидаемого количества запятых. Есть ли bash или другой общий инструмент командной строки unix, который позволит мне считать запятые в строке? Если необходимо, я могу написать программу Python или Perl, но если это возможно, я хотел бы добавить строку или два в существующий сценарий bash, чтобы он сработал, если счет запятой ошибочен. Есть идеи?

Answer 1

Газа все, кроме запятых, а затем подсчитать количество символов осталось:

$ echo foo,bar,baz | tr -cd , | wc -c 
2 

Answer 2

Чтобы подсчитать, сколько раз появляется запятая, вы можете использовать что-то вроде AWK:

string=(line of input from CSV file) 
echo "$string" | awk -F "," '{print NF-1}' 

Но этого действительно недостаточно, чтобы определить, возвращается ли в нем поле. Поля могут содержать запятые внутри, пока они окружены кавычками.

Answer 3

Просто удалите все символы возврата каретки:

tr -d "\r" old_file > new_file 

Answer 4

Попробуйте Perl:

$ perl -ne 'print 0+@{[/,/g]},"\n"' 
a 
0 
a,a 
1 
a,a,a,a,a 
4 

Answer 5

В чистом Баш:

while IFS=, read -ra array 
do 
    echo "$((${#array[@]} - 1))" 
done < inputfile 

или

while read -r line 
do 
    count=${line//[^,]} 
    echo "${#count}" 
done < inputfile 

Answer 6

В зависимости от того, что вы пытаетесь сделать с данными CSV, может быть полезно использовать сценарий оболочки, такой как csvquote, чтобы временно заменить проблематичные строки новой строки (и запятые) внутри полей, указанных в кавычках, а затем восстановить их. Например:

csvquote inputfile.csv | wc -l 

и

csvquote inputfile.csv | cut -d, -f1 | csvquote -u 

может быть такая вещь, что вы ищете. См. [https://github.com/dbro/csvquote][1] для кода и дополнительной информации