Как я могу экспортировать 300 миллионов записей из mongodb?

Question

У меня есть 300 миллионов записей в моем mongodb, я хочу экспортировать все записи из него, но

Я могу экспортировать только около 30 миллионов данных и не получил сообщений об ошибках! Я не Kown

ли это предел mongoexport или что-то не так с моим export.Does

кто получил Thie проблему? Любая помощь будет экспорт appreciated.My выглядит следующим образом:

/home/mongodb/bin/mongoexport -h 10.141.209.2 -p 27018 -d test -c microblogs --fields 'user_id,created_at,reposts_count,comments_count,source,text' --skip 36176225 --type=csv -o microblogs_36176225.csv 

Результаты lookes как:

-rw-r--r-- 1 root root   60 Sep 29 21:39 microblogs_36176225.csv 

Answer 1

Я не верю, что есть предел, но я хотел бы попробовать первый экспорт в JSON, чтобы увидеть, если у вас такая же проблема, если вы это сделаете. Вы могли бы попробовать сделать сплайсинг экспорта, так как он «не удался» около 30 миллионов это сделать

mongoexport --skip 0 --limit 30000000 -- sort{_id:1} --db microblogs 
mongoexport --skip 30000000 --limit 30000000 -- sort{_id:1} --db microblogs 
util you reach your 300 million 

петли на вашем языке выбора может позаботиться об этом за вас легко, так что вы не вводить вручную это вверх ,

Надеюсь, это поможет.