Разделенные столбцы, разделенные вкладками и пробелами

Question

У меня здесь действительно странный fileformat, который использует вкладки и пробелы в любой сумме для разделения полей (даже трейлинг-и ведущих). Другая специальность заключается в том, что поля могут быть добавлены с пробелами в них, которые затем экранируются CSV.

Один пример:

0 "some string" 234  23947  123 ""some escaped"string"" 

Я пытаюсь разобрать такие столбцы с AWK и я должен был бы иметь каждый элемент в массиве, например,

foo[0] -> 0 
foo[1] -> "some string" 
foo[2] -> 234 
foo[3] -> 23947 
foo[4] -> 123 
foo[5] -> ""some escaped"string"" 

Возможно ли это? Я прочитал http://web.archive.org/web/20120531065332/http://backreference.org/2010/04/17/csv-parsing-with-awk/, в котором говорится, что синтаксический анализ csv уже очень тяжелый (для начала этого должно быть достаточно для разбора нормальных строк с пробелами, экранированный вариант очень редок)

Прежде чем я начну долгое время: сделать это в awk или лучше использовать какой-либо другой язык?

Answer 1

С GNU AWK для FPAT:

$ cat tst.awk 
BEGIN { FPAT="\\S+|\"[^\"]+\"|,[^,]+," } 
{ 
    gsub(/@/,"@A") 
    gsub(/,/,"@B") 
    gsub(/""/,",") 
    for (i=1; i<=NF; i++) { 
     gsub(/,/,"\"\"",$i) 
     gsub(/@B/,",",$i) 
     gsub(/@A/,"@",$i) 
     print i, $i 
    } 
} 

$ awk -f tst.awk file 
1 0 
2 "some string" 
3 234 
4 23947 
5 123 
6 ""some escaped"string"" 

Чтобы понять, что это делает, см https://stackoverflow.com/a/40512703/1745001