Извлечь данные fom Marklogic 8.0.6 в AWS S3

Question

Я использую Marklogic 8.0.6, и у нас также есть документы JSON. Мне нужно извлечь много данных из Marklogic и сохранить их в AWS S3. Мы попытались запустить «mlcp» локально, и они загружают данные в AWS S3, но он очень медленный, потому что он генерирует много файлов.

Наша платформа Marklogic уже подключена к S3 для выполнения резервного копирования. Есть ли способ извлечь определенную базу данных в aws s3?

Это может быть хорошо для меня, если у меня есть один большой файл с одного JSON документа в строке

Спасибо, Ромен.

Answer 1

Я не знаю, как получить его на s3, но вы можете использовать CORB2 для извлечения документов MarkLogic в один большой файл с одним документом JSON на строку.

Answer 2

S3: // является родным типом файла в MarkLogic. Таким образом, вы также можете перебирать все ваши документы и экспортировать их с помощью xdmp: save («s3: // ...).

Если вы хотите сделать аграрные изделия, то вы можете выйти замуж за эту идею в предложение Сэма CORB2, чтобы управлять процессом и помогать группировать всю вашу базу данных в множество управляемых сводных документов. Затем используйте задачу post-back для запуска xdmp-save

Answer 3

Спасибо, ребята, за ваши ответы. Я не знаю о CORB2, это отличное решение! Но, к сожалению, из-за плохого I/OI предпочитают решение для прямой записи на s3.

Я могу использовать базовый запрос Ml и дамп для s3: // с родным коннектором, но я всегда сталкиваюсь с ошибкой памяти даже при запуске с "икру" чтобы генерировать фоновый процесс.

У вас есть какой-либо пример xquey для извлечения каждого документа на s3 один за другим без разрешения памяти?

Thanks