Можно ли легко удалить export whole index (все сохраненные поля) кластера elasticsearch в файле .csv (возможно, из коробки)?ElasticSearch полный индекс в файл csv
Альтернатива, я могу думать, это запрос всего индекса, а затем преобразовать результат ... но мне действительно не нравится идея разбора чудовищного json, так как содержит несколько миллионов документов!
Есть ли другие пути или идеи для достижения экспорта?
Вы можете использовать Scan and Scroll API. Тогда у вас не было бы чудовищного JSON-файла для синтаксического анализа - вы могли бы сделать это гораздо меньшими партиями.
Ссылка на «Scan and Scrall API» мертва. API также устарел. https://www.elastic.co/guide/en/elasticsearch/reference/2.3/breaking_21_search_changes.html#_literal_search_type_scan_literal_deprecated – mrtipale
Отказ от ответственности: Я являюсь автором учреждения.
estab экспортирует поля поиска elasticsearch в виде значений, разделенных вкладкой. Если у вас слишком много полей, легко явно экспортировать их все. Внутреннее устройство использует API сканирования и прокрутки.
Пример:
Предположим, ваш индекс содержит документы, как:
{
"name": "Kiwi",
"genus": "Apteryx",
"populations": [
{"location": "North Island", "size": 2500},
{"location": "Little Barrier Island", "size": 2000}
]
}
Затем вы можете экспортировать весь индекс через:
$ estab -f 'name genus populations.location populations.size'
Kiwi Apteryx North Island|Little Barrier Island 2500|2000
Обратите внимание, что вложенные поля не легко отображаются в табличная форма. estab по умолчанию разделяет несколько значений на |, и вы можете ссылаться на вложенные поля с помощью обычной точечной нотации.
https://github.com/jprante/elasticsearch-csv –
@ KonstantinV.Salikhov выглядит хорошо! Я надеялся не привлекать сторонние плагины, но, похоже, это касается моих потребностей! – dimzak
На самом деле я никогда не пробовал это, и могут быть некоторые проблемы с производительностью. –