Передача данных сторонних поставщиков большого количества данных

Question

Кто-нибудь знает, как работают сайты, в которых работает много данных в режиме реального времени? Я имею в виду что-то вроде фондового сайта, где они могут рассказать вам в режиме реального времени (ну, задержка на 20 минут в основном, но все-таки в режиме реального времени - 20 минут, как я понимаю).

У них есть тысячи данных, доставленных им каждую секунду, я бы предположил: MSFT 25.00 +.23 VOL 12000 ???? для каждого запаса, который имел изменение в течение некоторого интервала.

Итак, существует ли постоянная подача небольших толканий? Или вы думаете, что сайт будет вырываться из того места, где есть реальные данные, и сказать «дайте мне все изменения с 12:23:45 CST to now» типа запроса?

Я спрашиваю об этом, потому что на работе у нас может быть ситуация, когда нам нужно иметь в информации о времени в нашем приложении информацию в реальном времени, как это, и не имеет смысла снова и снова поражать нашего стороннего провайдера вторые ...

Answer 1

Как правило, существует протокол сервера/клиента, определенный между двумя сторонами. В компании, с которой я работаю, соединение поддерживается в любое время.

Вот информация о данных в реальное время каналов идти с фондовым например

NYSE, NASDAQ

Это является общим для провайдеров данных также имеют FTP сайтов с (задержкой) порционными данные. Один из них, который приходит на ум, - это NWS EMWIN

Answer 2

Сайты, похожие на Twitter Данные для подачи на определенные одобренные сайты в режиме реального времени через XMPP (Wiki link).

Answer 3

В самых широких терминах толчок модели будет лучшим способом достижения «реального времени» передачи, особенно если вы говорите о большом количестве данных.

Однако у вас всегда есть проблема при использовании чисто точечной модели восстановления после пропущенных данных.

В зависимости от характера ваших данных, которые могут не быть проблемой (думая о доставке видео как аналоге, где объем данных огромен, но для его восстановления требуется отсутствие избыточных данных). И если у вас есть какой-либо контроль над данными, вы можете создать некоторую избыточность. Например, в каждом событии изменения вы можете предоставить абсолютные значения, а не изменения, или предыдущее значение и новое значение.

Answer 4

Я сделал это, пытаясь извлечь цитату из источника и вернуться к временному кешу на диске, когда основной источник выходит из строя или истекает время.