Awk split file дает неполные строки

Question

Мой файл csv файл с полями, разделенными запятой.

Я попытался разбить файл на несколько файлов по первому полю. Я сделал следующее:

cat myfile.csv | awk -F',' '{print $0 > "Mydata"$1".csv"}' 

Он разобьет файл, но файл поврежден, последняя строка каждого файла не является полной. Положение разлома кажется случайным. У кого-нибудь есть такая же проблема?

Answer 1

Используйте настоящий синтаксический анализатор/генератор CSV. Он безопасен для необычных входов, в том числе с многослойными значениями. И вот один вкладыш для Ruby:

ruby -e 'require "csv";CSV.foreach(ARGV.shift){|r| File.open("Mydata#{r[0]}.csv","w").puts(CSV.generate_line(r))}' file.csv 

Answer 2

Этих типов задачи неизменно, потому что вы создали свой входной файл на Windows, и поэтому он имеет поддельный контроль-Ms в конце строк. Запуск dos2unix от входного файла, чтобы очистить его затем повторно запустить команду AWK, но переписать его как:

awk -F',' '{print > ("Mydata" $1 ".csv") }' myfile.csv 

решить несколько связанных друг с другом проблем.

Answer 3

Используйте эту команду AWK игнорировать \r символы перед \n:

awk -F ',' -v RS='\r\n' '{print > ("Mydata" $1 ".csv") }' myfile.csv 

Answer 4

Только не забудьте закрыть файлы:

awk -F ',' '{ f="Mydata"$1".csv"; print $0 > f; close(f) }' myfile.csv