Кассандра и размер кучи

Question

Я запускаю кластер Cassandra из 5 узлов, который также запускает Solr на 5 узлах. Я проглотил и проиндексировал более миллиарда элементов, и в настоящее время это сообщение продолжает печататься на консоли;

ИНФО 10: 55: 54360 Невозможно уменьшить использование кучи, так как нет грязных семьи столбцов INFO 10: 56: 03897 ГХ для ConcurrentMarkSweep: 538 мс для 1 коллекций, используемые 2733064112; max is 3158310912 WARN 10: 56: 03,898 Куча составляет 0,865356257870536. Возможно, вам придется уменьшить размер памяти и/или кеширования . Cassandra теперь будет сбрасывать до двух крупнейших memtables для освобождения памяти. Отрегулировать flush_largest_memtables_at порог в cassandra.yaml, если вы не хотите Cassandra, чтобы сделать это автоматически

У меня есть 8G на узел и я установить MAX_HEAP_SIZE к 3G в Cassandra-env.sh.

Не могли бы вы пролить свет на то, как я могу это решить?

Благодаря Majd

Answer 1

Это может быть просто, что вам нужно больше кучи - Добавить концерт или два, и посмотреть, что происходит. OTOH, вам может понадобиться больше системной памяти для кэширования файлов, а 1 миллиард строк с поддержкой Solr, похоже, много для системы с 8 ГБ.

Обычно от 40 до 100 миллионов строк является максимальной пропускной способностью для узла DSE с поддержкой Solr. С 5 узлами и 1 миллиардом строк ваш кластер имеет около 200 миллионов строк на узел. Иногда 200 миллионов могут быть размещены на одном узле, а иногда и нет - переворачивать там монету.

Кроме того, более высокий коэффициент репликации эффективно увеличивает количество строк, которые Кассандра будет размещать на каждом узле. Итак, разделите это 40-50 000 строк на руководство по РФ, чтобы получить достойное целевое количество строк на узел.

Короче говоря, вам нужен гораздо больший кластер, как минимум 10 узлов и, возможно, целых 25 узлов. И с РФ 3 или выше вам может понадобиться еще больше узлов.