Очистка CSV-файла в bash

Question

У меня есть файл CSV с разделителем ',', который я бы хотел использовать для дальнейшей обработки в postgres db, но не все строки имеют правильное количество столбцов.

Я изучаю способ удаления всех строк, которые не имеют определенного числа (15) разделителей.

Я видел много решений sed/awk, но ни один из них не достигнет того, что мне нужно. Благодаря!

Answer 1

awk -v FS=',' 'NF==16' <csv> 

Answer 2

Вы можете использовать Perl Однострочник для обработки файла:

$ perl -lane '$c = $_ =~ tr/,//; print $_ if $c == 14' input_file.csv > output_file.csv

Это будет читать все строки из input_file.csv и если строка содержит 15 запятых он будет печатать строку output_file.csv

Answer 3

Я думаю, что это должно работать:

grep -e '^[^,]*\(,[^,]*\)\{15\}$' data.csv 

Или с рубином:

ruby -ne 'print if $_.count(",")==15' < data.csv 

Answer 4

В awk. Заменить , с другим ,, подсчитывают количество subtitutions и напечатать те, с правильным количеством:

$ awk 'gsub(/,/,",")==15' file 

Аст не было никаких данных испытаний, не выход. Ты просто должен мне доверять.

Answer 5

awk -F, 'NF!=16' file 

другие символы.