SOLR Streaming VS Search

Question

Каковы основные различия между потоковым и нормальным поиском с точки зрения внутренней реализации. Обычный поиск также будет работать распределенным образом, не так ли? Как потоковая передача повышает производительность? Документация не помогает.

Answer 1

Распространенные запросы на поиск запросов, вычисления результатов, предоставления результатов и слияния ручек. Каждый шаг обрабатывается полностью, прежде чем перейти к следующему шагу. Это работает достаточно хорошо, когда количество данных невелико. Для больших запросов, таких как доставка миллионов документов, для этого требуются огромные буферы памяти. Это также означает, что вызывающему абоненту необходимо подождать до самого последнего шага (доставки результата вызывающему абоненту) до того, как результат будет обработан.

С потоковой передачей все это продолжается: вычисление, доставка и слияние происходят одновременно с фиксированной верхней памятью памяти. Вы можете попросить результаты 10K, или вы можете запросить 10 миллиардов, единственная разница в том, сколько времени это займет. Поскольку каждая часть процесса активна одновременно, включая доставку абоненту, это также означает, что первые данные результата будут доставлены вызывающему абоненту очень быстро.

Внутренне потоковая передача в основном осуществляется поиском по поисковому запросу. Каждая страница (документы 10K, если я правильно помню) передается по потоку, как только она была рассчитана. Игнорируя оптимизацию, подобное поведение можно было бы эмулировать извне с глубоким поисковым вызовом и пользовательским слиянием.