Разбор больших файлов JSON

Question

Я работаю над Yelp Dataset Challenge. Данные состоят из файлов большого сына (до 1 ГБ, 1 мм + линий). Я бы хотел сделать некоторые аналитики данных, сравнивая данные между файлами, например. связывая обзор в файле обзора с бизнесом в бизнес-файле.

У меня есть полная свобода относительно того, какую платформу/язык программирования использовать. Каков наиболее эффективный способ сделать это, чтобы я мог быстро выполнять быстрый поиск?

Формат сына очень прост. Ниже приведен пример. Такие поля, как «user_id», уникальны и могут быть перекрестно привязаны к другим файлам.

{"votes": {"funny": 0, "useful": 2, "cool": 1}, 
"user_id": "Xqd0DzHaiyRqVH3WRG7hzg", 
"review_id": "15SdjuK7DmYqUAj6rjGowg", 
"stars": 5, "date": "2007-05-17", 
"text": "dr. goldberg offers everything i look for in a general practitioner. he's nice and easy to talk to without being patronizing; he's always on time in seeing his patients; he's affiliated with a top-notch hospital (nyu) which my parents have explained to me is very important in case something happens and you need surgery; and you can get referrals to see specialists without having to see him first. really, what more do you need? i'm sitting here trying to think of any complaints i have about him, but i'm really drawing a blank.", 
"type": "review", 
"business_id": "vcNAWiLM4dR7D2nwwJ7nCA"} 

Answer 1

Сначала импортируйте все данные в базу данных.

У вас есть возможность полностью сгладить вещи на несколько таблиц (если вы получаете «вложенные» объекты в JSON), или вы можете сохранить некоторые части как JSON, особенно если вы используете базу данных, которая может анализировать/индексировать ее (как Postgresql).

Выбор базы данных полностью зависит от вас. Вы могли бы использовать классическую базу данных SQL (Postgresql, Mysql, SQL Server, SQLite ...), или вы могли бы использовать документально-ориентированную/noSQL базу данных, такую ​​как MongoDB (которая поддерживает JSON-подобные данные). Все дело в том, что вы будете делать с данными (и с тем, с чем вам удобно).

Вы можете делать все, что вы хотите с данными ...

Обратите внимание, что если один файл> 1 Гб, вы, возможно, придется использовать некоторые пользовательские инструменты, чтобы сделать импорт, как загрузка все сразу в памяти (через обычно функции JSON-декодирования вашего любимого языка), вероятно, будет слишком много. Однако будьте осторожны, вы все равно хотите правильно разобрать все данные, поэтому избегайте упрощенных разделов или регулярных выражений. Вы можете посмотреть решения, перечисленные в этой теме: Is there a streaming API for JSON?