1
Я создаю новый экземпляр ElasticSearch, используя инструмент python mongo-connector. Инструмент работает, но импортируется только около 100 тыс. Записей из mongodb oplog.Есть ли способ сбросить всю коллекцию mongodb в oplog?
Однако мои коллекции содержат миллионы записей ... Есть ли способ передать все записи из каждой коллекции через oplog без какого-либо изменения записей?
Вы можете вручную вставить прямо в oplog, но лучше выбрать вместо импортера скрипт, который фактически импортирует все ваши старые записи в ES – Sammaye
. Это хорошая идея; будет ли сценарий импорта, который вы планируете более или менее быть mongodump для json, который затем импортируется в elasticsearch? – diego
В значительной степени вы бы использовали API http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/docs-index_.html, чтобы просто индексировать их прямо на своем любимом языке, то есть PHP, должен это делать действительно быстро на только пару миллионов – Sammaye