Как уменьшить задержку данных, отправленных через REST api

Question

У меня есть приложение, которое получает данные в формате JSON с одного из наших других серверов. Проблема, с которой я столкнулся, заключается в значительной задержке при запросе этой информации. Поскольку передано много данных (приблизительно 1000 записей на запрос, где каждая запись довольно огромная), есть способ, которым сжатие помогло бы уменьшить скорость. Если да, то какую схему сжатия вы бы порекомендовали.

Я прочитал еще thread, что они имеют большое значение для данных типа сжатия, которые необходимо использовать. Структура данных последовательна и напоминает следующее

:desc=>some_description 
:url=>some_url 
:content=>some_content 
:score=>some_score 
:more_attributes=>more_data 

Может кто-то порекомендовать решение, как я мог бы уменьшить эту задержку. Задержка составляет около 6-8 секунд. Я использую Ruby on Rails для разработки этого приложения, а сервер, предоставляющий данные, использует Python по большей части.

Answer 1

Я бы сначала посмотреть на сколько это 8s задержки связана с:

обработки боковой

1. Server (сколько потребовалось для данных, которые будут генерироваться) Есть много методов, чтобы улучшить это время, в том числе:

   • DB индексов

   • кэширование

   • быстрее to_json библиотека

Некоторые отличные ресурсы являются NewRelic подкастов на Rails масштабируемостью http://railslab.newrelic.com/2009/02/09/episode-7-fragment-caching

1. Задержка передачи (сколько времени потребовалось для данных, которые должны быть отправлены между сервер и клиент)

   • , если ключи практически одинаковы, вы можете реализовать разрешение от Compression algorithm for JSON encoded packets?; Вы можете посмотреть на http://wiki.github.com/WebReflection/json.hpack/specs-details и http://www.nwhite.net/?p=242

   • в дополнение к этому, вы можете также сжать (GZIP) его из внешнего интерфейса сервера http://httpd.apache.org/docs/2.0/mod/mod_deflate.html http://wiki.nginx.org/NginxHttpGzipModule

   • Если структура данных является постоянным, и вы можете также попытаться реализовать бинарную услугу, то есть гораздо быстрее, включает в себя сжатие, но и более трудно его поддерживать, как бережливость: http://www.igvita.com/2007/11/30/ruby-web-services-with-facebooks-thrift/

   • Если это подходит для ваших потребностей, может быть, вы можете сделать какой-то стороне сервера системы управления версиями/кэш, и отправлять только те записи, которые были изменены (но это довольно тяжело реализовать)

Answer 2

gzip может значительно уменьшить размер текстовых данных и оптимизировать скорость загрузки. Также рекомендуется YSlow.