Bash с JQ группировкой

Question

У меня есть файл с потоком объектов JSON следующим образом:

{"id":4496,"status":"Analyze","severity":"Critical","severityCode":1,"state":"New","code":"RNPD.DEREF","title":"Suspicious dereference of pointer before NULL check","message":"Suspicious dereference of pointer \u0027peer-\u003esctSapCb\u0027 before NULL check at line 516","file":"/home/build/branches/mmm/file1","method":"CzUiCztGpReq","owner":"unowned","taxonomyName":"C and C++","dateOriginated":1473991086512,"url":"http://xxx/yyy","issueIds":[4494]} 
{"id":4497,"status":"Analyze","severity":"Critical","severityCode":1,"state":"New","code":"NPD.GEN.CALL.MIGHT","title":"Null pointer may be passed to function that may dereference it","message":"Null pointer \u0027tmpEncodedPdu\u0027 that comes from line 346 may be passed to function and can be dereferenced there by passing argument 1 to function \u0027SCpyMsgMsgF\u0027 at line 537.","file":"/home/build/branches/mmm/file1","method":"CzUiCztGpReq","owner":"unowned","taxonomyName":"C and C++","dateOriginated":1473991086512,"url":"http://xxx/yyy/zzz","issueIds":[4495]} 
{"id":4498,"status":"Analyze","severity":"Critical","severityCode":1,"state":"New","code":"NPD.GEN.CALL.MIGHT","title":"Null pointer may be passed to function that may dereference it","message":"Null pointer \u0027tmpEncodedPdu\u0027 that comes from line 346 may be passed to function and can be dereferenced there by passing argument 1 to function \u0027SCpyMsgMsgF\u0027 at line 537.","file":"/home/build/branches/mmm/otherfile.c","method":"CzUiCztGpReq","owner":"unowned","taxonomyName":"C and C++","dateOriginated":1473991086512,"url":"http://xxx/yyy/zzz","issueIds":[4495]} 

Я хотел бы получить с JQ (или каким-либо другим способом), три линии, один для каждого из идентификаторов , URL-адреса, и имя файла:

Это то, что я до сих пор:

cat /tmp/file.json | ~/bin_compciv/jq --raw-output '.id,.url,.file' 

Результат:

4496 
http://xxx/yyy 
/home/build/branches/mmm/file1 
. 
. 
. 

НО - Я хотел бы сгруппировать их по имени файла, так что я буду получать через запятую списки адресов и идентификаторов на той же линии, как это:

4496,4497 
http://xxx/yyy,http://xxx/yyy/zzz 
/home/build/branches/mmm/file1 

Answer 1

С одним небольшим исключением, вы можете легко достичь поставленных целей с помощью JQ следующим образом:

jq -scr 'map({id,url,file}) 
    | group_by(.file) 
    | .[] 
    | ((map(.id) | @csv) , (map(.url) | @csv), (.[0] | .file))' 

Учитывая ввод, вывод будет:

4496,4497 
"http://xxx/yyy","http://xxx/yyy/zzz" 
/home/build/branches/mmm/file1 
4498 
"http://xxx/yyy/zzz" 
/home/build/branches/mmm/otherfile.c 

Затем вы можете исключить кавычки с помощью инструмента редактирования текста, такого как sed; с использованием другого вызова jq; или как описано ниже. Однако, возможно, это не такая замечательная идея, если в любой URL-адреса есть запятая.

Вот фильтр для устранения кавычки только с одним вызовом JQ:

map({id,url,file}) 
| group_by(.file) 
| .[] 
| ((map(.id) | @csv), 
    ([map(.url) | join(",")] | @csv | .[1:-1]), 
    (.[0] | .file)) 

Answer 2

Вот решение, которое использует group_by и -r, -s варианты JQ:

group_by(.file)[] 

| ([ "\(.[].id)" ] | join(",")), 
    ([ .[].url  ] | join(",")), 
    .[0].file