Обработка Невероятно большой документ JSON в CouchDB

Question

Я новичок в базах данных NoSql, и мне трудно понять, как обрабатывать очень большой JSON-документ, который может составлять более 20 МБ на моем локальном диске. Эта структура, безусловно, будет увеличиваться с течением времени, и я беспокоюсь о скорости запросов и необходимости искать в глубину, хотя возвращаемое объектное ядро ​​JSON просто для того, чтобы получить строку. Мой JSON глубоко вложен, например, так.

{ 
"exams": { 
    "exam1": { 
     "year": { 
      "math": { 
       "questions": [ 
        { 
         "question_text": "first question", 
         "options": [ 
          "option1", 
          "option2", 
          "option3", 
          "option4", 
          "option5" 
         ], 
         "answer": 1, 
         "explaination": "explain the answer" 
        }, 
        { 
         "question_text": "second question", 
         "options": [ 
          "option1", 
          "option2", 
          "option3", 
          "option4", 
          "option5" 
         ], 
         "answer": 1, 
         "explaination": "explain the answer" 
        }, 
        { 
         "question_text": "third question", 
         "options": [ 
          "option1", 
          "option2", 
          "option3", 
          "option4", 
          "option5" 
         ], 
         "answer": 1, 
         "explaination": "explain the answer" 
        } 
       ] 
      }, 
      "english": {same structure as above} 
     }, 
     "1961": {} 
    }, 
    "exam2": {}, 
    "exam3": {}, 
    "exam4": {} 
} 
} 

В главном приложении объекты вопросов создаются и добавляются в зависимости от типа экзамена, года, и при условии принятия документа в формате JSON огромного в течение долгого времени. Как я могу повторно моделировать это, чтобы избежать медленных запросов в будущем?

Answer 1

Dominic is right. Вам необходимо начать разделение документов и их хранение в виде отдельных документов.

Следующий вопрос - как перекомпоновать документ после его раскола.

Учитывая, что вы используете Couch, я бы рекомендовал сделать это на уровне приложения. Хорошей отправной точкой было бы создание экзаменационных документов и их хранение в собственной базе данных. Затем введите документ (экзамены) в другую базу данных с указателями на документы экзамена.

Вы можете получить документ об экзаменах и получить экзамены один за другим по мере необходимости. Это может быть особенно полезно для поискового вызова, поскольку большинство людей хотят увидеть только самые последние экзамены.