Невозможно массово загрузить данные журнала в ArangoDB?

Question

Мне нужно массово загрузить данные журнала в ArangoDB. Он не находится в формате JSON и CSV, его данные журнала в формате gz.

203.109.94.55 - - [19/июня/2015: 16: 02: 45 +0000] «GET HTTP /origin-cdn.firstcry.com/brainbees/images/products/thumb/506739a.jpg/1.1 "200 21514" - "" Mozilla/5.0 (Linux, Android 4.4.4, XT1022 Build/KXC21.5-40) AppleWebKit/537.36 (KHTML, например, Gecko) Chrome/34.0.1847.114 Mobile Safari/537.36 "" - 183.87.73.202 - - [19/Июнь/2015: 16: 02: 45 +0000] "GET /origin-cdn.firstcry.com/brainbees/images/products/bigthumb/555258a.jpg HTTP/1.1" 200 34903 " - "" Dalvik/2.1.0 (Linux; U; Android 5.0.2; AO5510 Build/LRX22G) "" - " 183.87.73.202 - - [19/Июнь/2015: 16: 02: 45 +0000]" GET /origin-cdn.firstcry.com/brainbees/images/products/bigthumb/555401a.jpg HTTP/1.1 "200 32334" - "" Dalvik/2.1.0 (Linux; U; Android 5.0.2; AO5510 Build/LRX22G) "" - "

Даже если мы пытаемся загрузить один файл через Arangosh, то он также не загружает и не генерирует ошибку, формат которой недействителен. У меня есть ежедневные данные объемом 2 ГБ для загрузки и обработки, как я могу это сделать через ArangoDB? Поскольку я прошел через документы ArangoDB и нашел массовую загрузку только для JSON. Любая помощь в том, как загрузить и обработать то же самое, будет благодарна?

Answer 1

ArangoDB поддерживает только массовую загрузку JSON, CSV или TSV. Поэтому вам нужно преобразовать файл журнала. Хорошей отправной точкой является Google. Например, есть проект под названием «log2json»:

https://github.com/kadnan/logs2json 

с некоторыми незначительными твиков вы должны быть в состоянии генерировать строки JSON (выше проект создает один большой JSON, который является не то, что вы хотите).