ElasticSearch - Определение максимального размера осколка

Question

Надеюсь, этот вопрос не устарел, но я пока не нашел четкого ответа. Согласно одной из презентаций ES за прошлый год (http://www.elasticsearch.org/videos/big-data-search-and-analytics/), для осколка есть «максимальный» размер. Я пытаюсь определить это для своего приложения, но, насколько я могу судить, я еще не ударил его. Кто-нибудь знает, какое поведение индекса одного осколка достигло максимума? Не вставляются ли вставки, или это просто, что индекс становится непригодным?

Answer 1

Чтобы проверить это самостоятельно, я проиндексировал все английские статьи в Википедии (без какой-либо информации об истории) в одном слое эластийного поиска. Папка данных elasticsearch выросла до ~ 42 ГБ в конце теста. Извлеченные уроки:

• Скорость индексации не зависит от размера осколка. Имейте в виду, что я не пытался индексировать более чем с одним потоком за один раз, но скорость индексирования одной нити была более или менее постоянной в течение всего времени теста.
• С другой стороны, скорость запросов была сильно подвержена влиянию размера осколков. Особенно, когда вы пытаетесь запросить несколько пользователей за раз. Точные цифры будут в значительной степени зависеть от мощности вашего компьютера, структуры данных и количества запросов. Чтобы дать вам представление, при поиске elasticsearch на моей машине dev, запрос на череп Википедии с 25 одновременными пользователями привел к среднему времени отклика 3,5 секунды (с пиками до половины минуты).

Мое заключение заключается в том, что слишком большой осколок не приведет к тому, что elasticsearch не сработает только от индексации. Запрос большого осколка может быть слишком медленным для ваших нужд или, в определенных ситуациях, даже сломать elasticsearch с OutOfMemoryException (например, большой граненый запрос).

Этот ответ основан на моем собственном расследовании. Полный рассказ можно прочитать в моем блоге:

http://blog.trifork.com/2013/09/26/maximum-shard-size-in-elasticsearch/
http://blog.trifork.com/2013/11/05/maximum-shard-size-in-elasticsearch-revisited/