Что такое точное значение compaction_throughput_mb_per_sec?

Question

Согласно YAML документации ссылка DataStax Кассандры https://docs.datastax.com/en/cassandra/2.1/cassandra/configuration/configCassandra_yaml_r.html

compaction_throughput_mb_per_sec
(По умолчанию:) дроссели уплотнению к указанной общей пропускной способности по всей системе. Чем быстрее вы вставляете данные, тем быстрее вам нужно сжать, чтобы сохранить счет SSTable. Рекомендуемое значение составляет от 16 до 32 раз больше скорости записи (в МБ/секунду). Установка значения в 0 отключает дросселирование уплотнения.

Мое буквальное толкование выше текст, если вы наблюдаете диск I/O (Мб/с), как говорит, 38 Мб/с, сейчас рассмотрит только нагрузку на запись узлов Cassandra, то compaction_throughput_mb_per_sec должен быть установлен до 38 * 16 = 608 или 38 * 32 = 1216, и это независимо от стратегии уплотнения.

Если приведенная выше интерпретация правильная, то любезно помогите мне понять фактическое значение значения 608 или 1216 в контексте уплотнения дросселирования и общей пропускной способности в системе для стратегии многоуровневого уплотнения (по умолчанию), например, путем расширения один из которых приведен ниже.

Сюжет:

Согласно документации значение min_threshold для SizeTieredCompactionStrategy равно 6. В нашем случае это не меняется. В среднем на дисковый ввод-вывод на узел наблюдается около 38 мб/с (только записи, операции чтения не выполняются). Значение compaction_throughput_mb_per_sec равно 16.

Каким будет рабочий процесс уплотнения со значением 16? Если мы изменим его на 608, то что именно изменится, что будет влиять и как?

Answer 1

Давайте рассмотрим значение уплотнения.

процесс уплотнения объединяет ключи, объединяет столбцы, вытесняет надгробные плиты, консолидирует SSTables и создает новый индекс в объединенном SSTable.

...

compaction_throughput_mb_per_sec параметр предназначен для использования с большими разделами, так как уплотнительная дросселируется до указанной общей пропускной способности по всей системе.

См: Configuring compaction

Чтобы сохранить производительность операций чтения в смешанных нагрузках для чтения-записи, вы должны уменьшить тенденцию малого SSTables накапливать в течение одного продолжительного уплотнения.

См: concurrent_compactors

Итак, когда вы обновляете compaction_throughput_mb_per_sec, обновить скорость, на которой написаны новые сводные SSTables; и поворот поможет вам смягчить тенденцию небольших SSTables накапливаться во время уплотнения.

Итак, если вы увеличиваете значение compaction_throughput_mb_per_sec с 16 до 608, вы увеличиваете пропускную способность записи, требуемую для записи SSTables, в свою очередь уменьшаете шансы создания небольших SSTables и, наконец, улучшаете производительность чтения.