Являются ли индексы памяти ElasticSearch быстрыми?

Question

У меня есть 2 индекса в Elastic search, один из которых работает по типу хранилища по умолчанию, другой работает в типе памяти. Я вставил 100 000 документов на каждый из этих двух индексов, индекс хранения по умолчанию на 1 секунду быстрее, чем индекс ram. почему это ?

и при поиске также индекс по умолчанию быстрый.

мой ES-сервер работает на SSD. может кто-нибудь объяснить мне, почему индекс памяти медленнее, чем одно хранилище на SSD?

Answer 1

Вам нужно будет следить за тем, что происходит с вашей JVM и системной памятью во время загрузки, чтобы действительно понять, что происходит.

Опция индекса memory может работать против диспетчера памяти ОС. Он также может увеличивать паузы в сборке мусора, заставляя JVM работать больше, чтобы освободить место.

Опция default (mmapfs на 64-разрядных системах Linux) позволяет OS более эффективно управлять страницами кэширования/замены памяти.

1 секунда - это много добавленной задержки для запроса с небольшим индексом. Если бы я опасался догадываться, я бы сказал, что ваш индекс memory не на 100% резидент в физической памяти, и поэтому ОС вынуждена сворачивать ненужные большие страницы из виртуального -> физического до завершения запроса.

Эта статья входит в более подробно (из контекста Solr, но лежащий в основе реализации Lucene та же): http://blog.thetaphi.de/2012/07/use-lucenes-mmapdirectory-on-64bit.html

Попробуйте натыкаясь память о вашей системе, или тестирование против меньшего числа докторов, чтобы увидеть если расхождение все еще существует.

Answer 2

Лучшее, что нужно сделать, это полностью отключить своп в вашей системе. Вы можете попробовать:

#sudo swapoff -a 

или отредактировать/и т.д./Fstab

Вы также можете предотвратить JVM от быть обменены ОС. В elasticsearch.yml:

bootstrap.mlockall: true