Добавление предметов в массив JSON в Scrapy?

Question

Я использую python framework Scrapy для очистки веб-сайтов и хранения данных в массиве json. Для хранения данных я использую следующую команду:

scrapy crawl dmoz -o items.json -t json 

Каждый раз, когда я называю эту команду, однако он создает новый массив JSON в файл. Есть ли способ просто добавить к массиву JSON, который уже существует в файле?

Я понимаю, что Scrapy предлагает экспорт для отправки элементов в определенный формат файла, однако я изо всех сил старался добиться такой эффективности, как при выполнении указанной выше команды.

Answer 1

Вы можете использовать JSON lines format

scrapy crawl dmoz -o items.jsonl -t jsonlines 

так, что SCRAPY следует добавлять элементы как строки JSON объектов