MemoryError при загрузке огромных исходных данных

Question

У меня есть исходные данные из моей старой базы данных, которая занимает около 6 ГБ. Я мог бы «dumpdata» моей старой базы данных без проблем. Но когда я попытался восстановить их в новую базу данных, я получил MemoryError:

python manage.py loaddata fixtures/initial_data.json 
    MemoryError: Problem installing fixture 'fixtures/initial_data.json': 

Есть ли способ сделать loaddata работы с кусочками или же можно загрузить большой файл?

Answer 1

Для больших баз данных используйте инструменты резервного копирования для сброса данных базы данных вместо «django dumpdata». Для загрузки данных базы данных вместо этого используйте инструменты восстановления «django loaddata».

Answer 2

Я написал этот скрипт, который является вилкой dumpdata django, но сбрасывает данные в кусках, чтобы избежать MemoryError. А затем загрузите эти куски один за другим.

Скрипт доступен на https://github.com/fastinetserver/django-dumpdata-chunks

Пример использования:

1) выгрузить данные во множество файлов:

mkdir some-folder 

./manage.py dumpdata_chunks your-app-name 
--output-folder=./some-folder --max-records-per-chunk=100000 

2) Загрузка данных из папки:

find ./some-folder | egrep -o "([0-9]+_[0-9]+)" | xargs ./manage.py loaddata 

PS. Я использовал его для перемещения данных из Postgresql в MySQL.