2
Наш кластер HBase имеет значительный объем сетевого трафика по сравнению с объемом данных, которые, как мы полагаем, мы пишем на него через OpenTSDB.Какова взаимосвязь между размером блока HDFS и трафиком сетевой репликации?
для ретрансляционной Bytes в OpenTSDB:
пропускная способность сети в Bytes (ось Y является единицы СИ, так что не BASE2):
Мы используем Cloudera, так блок будет 128 МБ, изменит ли он на 64 МБ сократить трафик репликации сети? Есть ли другие последствия для рассмотрения?
Что такое relay.bytes и bond.bytes? Являются ли эти счетчики linux или поступают от сетевого устройства? За исключением 3-кратной репликации DFS, может ли она быть связана с базовыми задачами в самой базе данных? Если вы собираетесь построить диаграмму в течение нескольких дней, существуют ли какие-либо шаблоны на основе расписаний или пользовательских действий, которые видны? –
@SergeiRodionov Единственные проблемы с базой данных, о которых я знаю, - это работы OpenTSDB (те, которые отличаются от транзакций HBase). bond.bytes исходит от Linux-устройства - это будет то же самое, что показывают порты коммутатора. relay.bytes - это то, как приложение отправляет OpenTSDB (и сжато JSON). Поэтому я ожидаю, что он будет намного меньше. Но даже без всплесков активности, показывает 10x умножение сетевого трафика (даже без 3xDFS). В основном меня интересует, как размер блока относится к размеру репликации. –
Не знаете, как читать эти диаграммы, но 1k/sec кажется низким для любого значимого трафика при приеме пищи. Этот счетчик выдерживает проверку вручную проверки ifconfig для байтов RX. Мы настроены по умолчанию 64Mb и не видим веских причин для его изменения. Поэтому нет конкретных рекомендаций по размеру блока. –