Как происходит анализ текста в реальном времени

Question

Я занимаюсь чтением по этой теме, но не могу найти нужную информацию, мы используем такие услуги, как Stream Stream, Datasift и другие услуги передачи данных. Что я хотел понять, как работают следующие службы:

1. Количество полученных твитов в секунду очень велико.
2. Количество людей, подключенных, определяет ключевые слова, на которые они хотят получать твиты, это могут быть сложные логические запросы.
3. проверка в реальном времени всех твитов по всем этим логическим запросам, а затем передача данных в правильное соединение.

Любой указатель на используемую архитектуру будет полезен.

Answer 1

Я думаю, вам сначала нужно понять масштабы и ресурсы таких сервисов, как твиттер, который вы пытаетесь создать. Эффективность может быть решена путем управления заботой обоих нижеперечисленных фронтов.

1. Представьте многоярусный эко-систему с балансировкой нагрузки, несколько вебов-серверами и крупными центрами обработки данных с распределенным кэшированием !!

2. Независимо от сложности работы алгоритма можно управлять с помощью алгоритмов многопоточности !!

Если вы действительно хотите понять, попробуйте прочитать карту-свертка, Hadoop и т.д., чтобы получить представление о