Извлечение данных из необычного JSON

Question

Есть ли способ сделать хороший CSV из следующего кода JSON?

{ 
    "cod:e1!!@23" : { 
     "typeA" : { 
      "lsk:d##fjd": { 
       "title" : "slkdfjlkdjfd", 
       "year" : "2014" 
      }, 
     "sdfdsfsd" : { 
      "title" : "slkdfjlkdjfddewfsdfd", 
      "year" : "2015" 
      } 
     }, 
     "Ct@ype" : { 
      "sd$!!fs:$dfds" : { 
       "title" : "slkdfjsdfsdfdsfsd", 
       "year" : "2012" 
      } 
     } 
    } 
} 

Вот что я пытался в JQ:

jq -rc 'keys[] as $x 
    | .[]|keys[] as $y 
    | .[]|keys[] as $z 
    |.[] 
    |[$x,$y,$z,.year] | @csv' 

jq -rc 'keys_unsorted[] as $x 
    | .[]|keys_unsorted[] as $y 
    | .[]|keys_unsorted[] as $z 
    | .[]|[$x,$y,$z,.year] | @csv' 

Но выход не является правильным, потому что если есть несколько таких записей, то ключи выходят, как сортируются и переставляются. Я также пробовал key_unsorted, но это не решило проблему.

Фиксация оригинального поколения JSON на данный момент не является вариантом, поэтому любая помощь будет оценена.

В идеале, я хотел бы получить:

"cod:e1!!@23","typeA","lsk:d##fjd","slkdfjlkdjfd","2014" 
"cod:e1!!@23","typeA","sdfdsfsd","slkdfjlkdjfddewfsdfd","2015" 
"cod:e1!!@23","Ct@ype","sd$!!fs:$dfds","slkdfjsdfsdfdsfsd","2012" 

Answer 1

Небольшая модификация скрипта, который вы предоставляете в начальном посте, заставляет его работать. Вместо использования. [], Я индексирую по определенному ключу, который сохраняется как переменная от keys_unsorted. Я также добавил заголовок в CSV для удобства:

jq -r '["x", "y", "z", "title", "year"], 
    (keys_unsorted[] as $x 
    | .[$x] | keys_unsorted[] as $y 
    | .[$y] | keys_unsorted[] as $z 
    | .[$z] | [$x, $y, $z, .title, .year]) | @csv' 

Это действительно обеспечивает вывод, который вы ищете (с заголовком):

"x","y","z","title","year" 
"cod:e1!!@23","typeA","lsk:d##fjd","slkdfjlkdjfd","2014" 
"cod:e1!!@23","typeA","sdfdsfsd","slkdfjlkdjfddewfsdfd","2015" 
"cod:e1!!@23","Ct@ype","sd$!!fs:$dfds","slkdfjsdfsdfdsfsd","2012" 

Answer 2

Вы можете использовать 'https://github.com/zemirco/json2csv' с опцией flatten. Это приведет к созданию столбцов, таких как cod:e1!!@23.typeA.lsk:d##fjd.title.

cat input.json | json2csv -F >> output.csv 

EDIT: Это не то, что вы хотите.

Answer 3

Вот JQ скрипт, который проходит через «элементы листа» во входном и делает столбец CSV из каждого ключа она проходит через:

jq -r 'leaf_paths as $path | $path + [getpath($path)] | @csv' 

Обратите внимание, что это не совсем то, что вы ищете :

"cod:e1!!@23","typeA","lsk:d##fjd","title","slkdfjlkdjfd" 
"cod:e1!!@23","typeA","lsk:d##fjd","year","2014" 
"cod:e1!!@23","typeA","sdfdsfsd","title","slkdfjlkdjfddewfsdfd" 
"cod:e1!!@23","typeA","sdfdsfsd","year","2015" 
"cod:e1!!@23","Ct@ype","sd$!!fs:$dfds","title","slkdfjsdfsdfdsfsd" 
"cod:e1!!@23","Ct@ype","sd$!!fs:$dfds","year","2012" 

Answer 4

Ниже приводится общее решение регулярно структурированы вложенные объекты (условно говоря, их можно рассматривать как «объекты бабушки», как вложенные куклы); кроме того, ключи в объектах могут быть заказаны любым способом.

Ключевым понятием является «скалярные объекты» - объекты, все ключи которых имеют значения .

Шаблон для информации, которая должна быть извлечена из «скалярных объектов» обеспечивается в качестве параметра к «испускать» фильтра и используется , чтобы гарантировать, что соответствующий порядок поддерживается при производстве строки CSV.

def emit(template): 

    def is_scalar_object: 
    def is_scalar: type | ((. != "object") and (. != "array")); 
    . as $in | (type == "object") and all($in[] | is_scalar); 

    . as $in 
    | paths as $path 
    | select(getpath($path) | is_scalar_object) 
    | $path + [ template + ($in | getpath($path)) | .[]] 
    ; 


data | emit({title, year}) | @csv 

Использование:

jq -r emit.jq input.json 

Выход:

"cod:e1!!@23","typeA","lsk:d##fjd","slkdfjlkdjfd","2014" 
"cod:e1!!@23","typeA","sdfdsfsd","slkdfjlkdjfddewfsdfd","2015" 
"cod:e1!!@23","Ct@ype","sd$!!fs:$dfds","slkdfjsdfsdfdsfsd","2012"