Высокая нагрузка на узлы Кассандры

Question

По какой-то причине я испытываю большую нагрузку на узлы Кассандры. Вот некоторая информация, чтобы получить картину.

• Когда я создаю новый кластер нагрузка постоянно низкая в течение нескольких дней и увеличивается на время, через неделю или что-то он просто идет из в воздух, вызывая то, что я нашел это нестабильность в весь кластер

• Я беру снимки одного из моих keyspaces, содержащих около 300-400 МБ данных каждые 4 часа и удалять те старше 7 дней, все настроено в OpsCenter

• кластер работающие на полосатых дисках в Microsoft Azure

• Узлы работают на 2 ядрах с 3,5 ГБ ОЗУ, я хорошо знаю, что это ниже рекомендованного оборудования, но это не должно быть причиной высокой нагрузки, я пробовал работать на 4 ядрах с 7 ГБ ОЗУ и увидел никакой разницы

Я уверен, что там, наверное, целый ящик вещей, которые могут вызвать высокую нагрузку, но я думаю, что-то более вероятно, чем-то еще.

Редактировать

Оказывается, что эта высокая нагрузка вызвана ремонтной службой в OpsCenter. Должны быть некоторые настройки, чтобы настроить, как ремонт выполняется службой.

Answer 1

Вы можете настроить службу ремонта, добавив раздел [repair_service] в ваш opscenterd.conf.

Основные рычаги для тюнинга:

max_parallel_repairs = 0 

Вы можете увеличить это пока ваш ремонт завершаем достаточно быстро, что они сделаны в течение периода времени вам требуется (< gc_grace_seconds)

min_repair_time = 5 

Если у вас не так много данных, служба ремонта может быть слишком быстро завершена и перезапускается, что приводит к ненужным накладным расходам. Вы можете увеличить это значение, чтобы убедиться, что вы не текущий ремонт слишком часто

snapshot_override 

Опять же, если вы не слишком много данных, и обслуживание ремонт завершается слишком быстро, вы будете создавать слишком много снимков (по по умолчанию, служба ремонта берет снимок перед каждым ремонтом). Если ваш каталог снимков становится очень быстрым, вы можете отключить его, пока вы не настроите службу на запуск только один раз (используйте raise min_repair_time drop parallel_repairs).

Примечания: Точка службы ремонта является расстелил дорогой/ресурс процесс ремонта потребляющий в небольшие рабочие места, это означает, что вы можете увеличить общую загрузку центрального процессора на 5% или 10% в любое время, а чем иметь всплеск и влиять на вашу рабочую нагрузку во время регулярных ремонтных работ.

Подробности на advanced configuration