Как рассчитать использование моих приложений iops

Question

Я пытаюсь выяснить, как я определяю IOPS, на котором работает мое приложение, поэтому я могу обладать размерами наших компонентов облачной инфраструктуры. Я понимаю, что IOPS находятся между базой данных и уровнем хранения, но я хотел бы понять, как я собираюсь рассчитать, что мое приложение использует. Вот некоторые из моих характеристик приложений: 1) 90% записи и 10% читать 2) У нас есть приложение на основе Java, которое в конечном итоге вставляется в базу данных HBase 3) Обработайте около 50 msg/sec, где каждое сообщение приводит, вероятно, к 2 Вставки HBase

Вот что я не уверен: 1) Является ли единственным способом расчета IOPS, запустив iostat или что-то на самом сервере во время загрузки? 2) Есть ли общий способ, который я могу рассчитать, что нужно от объема данных/размера, поступающего, а не из реального блока памяти? 3) Есть ли какая-либо связь с # транзакциями и количеством байтов в каждой транзакции (я читал где-то IO обычно 3K, большинство вложений не содержат столько информации, чтобы это не имело значения).

Любая помощь была бы принята с благодарностью.

Answer 1

Не очень хорошо знаком с Hbase. Но из документации он использует структуру журнала, что означает, что записи будут последовательными. У него также есть компиляции, которые будут вызывать как последовательные чтения, так и записи мульти-MB. Запросы чтения будут вызывать случайные чтения на уровне хранилища. Так вот ответ на вопросы:

1. Насколько я знаю, да. Единственный способ получить IOPS - запустить iostat. Вероятно, вы можете получить некоторую статистику уплотнения с уровня приложения. Но трудно получить информацию об уровне IOPS.

2. Уплотнение вызовет больший объем хранения, чем весь размер данных. И если ваше приложение сильно пишет (уплотнение может не догнать скорость вставки), размер фактического объема данных будет намного больше. Учитывая 50 msg/sec в вашем вопросе, это не должно быть так. Я поставлю диски вдвое большего размера ожидаемого объема данных на один экземпляр.

3. Как упоминалось выше, Hbase структурирована в журнале. Записи накапливаются в памяти и сбрасываются на диск вместе. Поэтому размер каждой транзакции не имеет значения.