Проблема при обращении с плоскими файлами с разделителями по трубе, каждое поле в двойных кавычках. Что может быть решением здесь

Question

Мне нужно обрабатывать плоские файлы с разделителями-ограничителями, в которых каждое поле входит в двойные кавычки.

выборка данных:

"1193919"|"false"|""|"Mr. Andrew Christopher Alman"|""|""|"Mr." 

Я написал много команд поглазеть в моих сценариях. Теперь вопрос:

вопрос: Рассмотрим эту строку: "1193919|false||Mr. Andrew Christopher Alman"|""|"Mr." Мой сценарий берет выше, как 6 различных полей

"1193919 
false 
[null] 
Mr. Andrew Christopher Alman" 
[null] 
"Mr." 

Но данные файлы отправляются с намерением, что "1193919|false||Mr. Andrew Christopher Alman" должны быть приняты как одно поле, окруженное двойными кавычками.

Моя мысль: я думал сменить полевой разделитель from | to "|" У этого есть несколько вопросов. Последние и первые поля будут отображаться как "1193919 и Mr." . Я не хочу использовать '["][|]["]|^["]|["]$' в качестве разделителя полей, потому что это увеличит число полей, и мои другие коды должны будут идти, хотя основное изменение.

Я прошу о решении что-то вроде: Использование | как разделитель полей, только если за ним следует «и предшествует». Но полевой разделитель будет | а не «|»

выпуск 2:

"1193919""|"false"""|""|"Mr. Andrew Christopher Alman" 

В то же время я хочу сообщить об ошибке в "false""", что-то вроде /^"["]+ | ["]+["]$/ and not /^""$/ Хороших данных должен быть ниже формате

"1193919"|"false"|""|"Mr. Andrew Christopher Alman" 

Answer 1

вы можете использовать gawk ' с FPAT переменная для определения котируемых полей

$ gawk -v FPAT='[^|]*|"[^"]*"' '{print $1}' 

и добавить логику вокруг числа поля и т.д.

Answer 2

Основная идея заключается в том, чтобы обрабатывать все неровности перед тем awk (потому что многие нерегулярные случаи возможны и awk лучше всего работает на обычных файлах).

Вы можете заменить определенные шаблоны с уникальным символом, который не встречается в полях, а затем использовать его в качестве разделителя полей:

sed 's/"|"/"\t"/g' file.txt |\ 
awk -F '\t' '{for(i = 1; i <= NF; i++){print i, $i} }' 

Я хотел бы использовать что-то весьма маловероятно в тексте , например вертикальная вкладка \v. Если вы не уверены в содержании полей, вы можете определить символ, который отсутствует в текущем фрагменте данных, и обработать его с помощью этого символа в качестве разделителя.

Тот же подход работает для выпуска 2. Если вы знаете, что некоторые шаблоны неверны, вы можете либо исключить, либо исправить их перед обработкой, например. с

sed 's/\([^|"]\)"\+|/\1"|/g'