Хранение большого количества текста (строк) для последующего использования

Question

Я пишу приложение форм Windows в VB.NET, которое обрабатывает HTTP-запросы и получает ответы JSON.

Я хотел бы сохранить все эти ответы JSON в файле, чтобы прочитать их в какой-то момент в будущем (строка за строкой), как если бы я делал запросы из файла вместо веб-сайта/API.

Я хотел бы, чтобы операции чтения были как можно быстрее, тогда как запись может быть относительно медленной. Таким образом, частота запроса http может быть от 1/секунды до 1/минута, тогда как я хотел бы прочитать данные очень быстро (я думаю, 500 мс или меньше?)

Прямо сейчас, я просто пишу каждый JSON string в виде новой строки текста в txt-файле. Однако строки длинны, и файлы становятся очень большими очень быстро.

Есть ли лучшее/альтернативное решение для хранения этих JSON/строк в компактной форме для быстрого чтения в дальнейшем?

Answer 1

.NET Framework имеет встроенную поддержку, которая позволила бы это сделать.

В принципе, вам нужно будет взять строку и преобразовать ее в массив байтов. Затем вам придется дефлировать (zip) ваш массив байтов и преобразовать его в строку base64.

Public Function ZipString(stringToZip As String) As String 
    Dim returnValue As String = "" 

    Using output As New MemoryStream() 
     Using gzip As New DeflateStream(output, CompressionMode.Compress) 
      Using writer As New StreamWriter(gzip, Encoding.[Default]) 
       writer.Write(stringToZip) 
      End Using 
     End Using 

     returnValue = Convert.ToBase64String(output.ToArray()) 

    End Using 



    Return returnValue 

End Function 

Чтобы получить исходную строку, вы делаете противоположное:

Public Function UnZipString(stringToUnZip As String) As String 
    Dim returnValue As String = "" 


    Using inputStream As New MemoryStream(Convert.FromBase64String(stringToUnZip)) 
     Using gzip As New DeflateStream(inputStream, CompressionMode.Decompress) 
      Using reader As New StreamReader(gzip, System.Text.Encoding.UTF8) 
       returnValue = reader.ReadToEnd() 
      End Using 
     End Using 
    End Using 


    Return returnValue 

End Function 

Вы тогда сможете хранить JSON как архивный строку и распаковать его, когда вам это нужно.

Answer 2

В целом, я бы предложил посмотреть базы данных NoSQL. Эти базы данных, использующие модель нереляционная (без SQL), чтобы улучшить производительность и некоторые из них (например, MongoDB ориентированы на хранение/извлечения объектов JSon непосредственно.

Другим вариантом было бы хранить JSon документы в поисковый сервер, такой как Solr, который мог бы хранить JSON objects directly.Этот сценарий был бы более подходящим, если вы хотите искать большое количество объектов JSON, как если бы они были документами. Использование Solr дает вам большую гибкость в способе хранения данных и дает вам отличный функции поиска.

Вы можете взглянуть на продвинутые подходы (NoSQL, Solr) и подумать, может ли кривая обучения и перехода новая технология вернет время инвестиций в отношении преимуществ производительности. Я бы сначала попытался использовать реляционную базу данных и , только если мои потребности в производительности настолько велики, то я бы протестировал подход NoSQL.

Надеюсь, я помог!