Вы упомянули латентность операции (чтение, запись, обновление). Это определенно очень важная метрика, поэтому вы должны разработать тесты, которые показывают, как изменяется латентность в этих сценариях:
- Задержка операции для различных нагрузок (операций в секунду).
- Операционная латентность для различных рабочих нагрузок (учитывайте различные смеси или проценты операций в рабочей нагрузке).
- (Менее важно) Задержка операции для различного распределения популярности ключевых слов.
Кроме того, другие вещи, которые вы можете проверить, являются:
- Упругие убыстрение: Влияние (на операции латентность) добавления серверов в Интернете.
- Отказоустойчивость: Возникновение (при латентности работы) случайных серверов выходит из строя.
- Баланс нагрузки: насколько хороша БД в балансировке нагрузки на серверах, учитывая различные распределения популярности ключевых слов и различные временные локальные нагрузки в рабочих нагрузках.
- Масштабируемость. Как больше или меньше узлов влияет на латентность операции. В этом случае серверы НЕ добавляются в сеть (это будет эксперимент по ускоренному ускорению).
- Если вы используете эксперименты на EC2, то как влияет выбор типа экземпляра EC2 (средний, большой и т. Д.) На производительность.
Кроме того, рассмотрите возможность использования гистограмм или графиков для наблюдения за латентностью, так как построение только средних значений не позволяет измерять изменчивость латентности.
Наконец, взгляните на this VLDB paper для получения дополнительных идей.
Если вы хотите сравнить cassandra, сначала обратитесь к сообщению в блоге, созданному datastax http://www.datastax.com/dev/blog/how-not-to-benchmark-cassandra – bkowalczyyk