Я использую Maxwell для записи изменений из базы данных MySql в Kafka 0.9.0, есть способ настроить Maxwell, чтобы он мог разбивать данные по разным темам с помощью хеш-функции над столбцом?Maxwell hash (sql_column) пишите на раздел kafka
Вы можете указать database | table | primary_key | column для параметра конфигурации producer_partition_by.
Как видно из документации here,
HASH_FUNCTION (HASH_STRING)% TOPIC.NUMBER_OF_PARTITIONS
HASH_FUNCTION либо хэш-код Java или murmurhash3. по умолчанию HASH_FUNCTION - hashCode. Murmurhash3 может быть установлен с опцией kafka_partition_hash. Начальное значение функции murmurhash жестко запрограммировано до 25342 в классе MaxwellKafkaPartitioner.
HASH_STRING может быть (база данных, таблица, primary_key, column). по умолчанию HASH_STRING - это база данных. Поле секционирования может быть , настроенное с использованием параметра manufacturer_partition_by.