Как поток через большие суммы данных Twitter?

Question

Я буду работать над проектом, который потребует живого выхода из нескольких твитов, которые пользователи имеют помеченные теги в Twitter, а также их твиты. Что-то похожее на слежение от трекера MTV: http://vma-twittertracker.mtv.com/live/#buzz.

Что заинтриговало меня об этом сайте, как они могут постоянно звонить API в Twitter без нарушения лимита запроса?

Я был бы признателен, если бы кто-нибудь мог направить меня на самый эффективный способ добиться этого. Из исследования, которое я провел до сих пор, я предполагаю, что мне нужно будет использовать Streaming API Twitter.

Поскольку существует вероятность того, что количество твитов, выводимых на мою страницу, может быть в тысячах (загружено AJAX) вместе со статистикой по количеству ретвитов/избранных, какой будет наиболее масштабируемый подход на моем сайте .NET? Будут оценены любые примеры или рекомендации.

Answer 1

Спасибо за все ваши ответы.

Похоже, что такие сайты, которые отображают много статистики в Twitter, используются third party approved providers, которые имеют прямой доступ к Twitter's Firehose API.

Мне удалось связаться с утвержденным поставщиком, чтобы предоставить нам необходимые данные (и это не так!).

Answer 2

вы можете изучить структуру Storm. Ниже приведены несколько ссылок для дальнейшего использования: -

http://storm-project.net/

https://github.com/nathanmarz/storm

Answer 3

ЗАКАНЧИВАТЬ Linq2Twitter. Это большая обертка вокруг API Twitter, а также предоставляет два механизма, которые помогут вам:

• Существует функция поиска, которая позволяет искать хэш-тег и т.д., которые будут ограничивать объем данных вы возврат
• У вас есть возможность указать получение всех данных с определенного идентификатора твита. Таким образом, вы можете поэтапно искать фид, выполняя поиск и поиск в последующих вызовах из идентификатора, на котором вы остановились.

Я использовал это много раз для поиска в общедоступном канале и не имел никаких проблем на сегодняшний день. Я думаю, что функция поиска - это ключ, не требующий слишком многого. Удачи!