Предотвращение увеличения значения смещения от значения смещения

Question

Есть ли способ предотвратить camus увеличить значение смещения и заставить его всегда читать предыдущее значение?

А также как создать пользовательское имя для файла, который создается вместо общего формата, то есть topic.leaderId.partitionId.partitioner.encodePartition(context, key)?

Answer 1

Имена файлов выхода картографа формируются в generateFileName метод com.linkedin.camus.etl.Patitioner класс.

Вы можете реализовать собственную Разметку и обеспечить логику в качестве

@Override public String generateFileName(JobContext context, String topic, String brokerId, int partitionId, int count, long offset, String encodedPartition) { return "MyCustomFileName-"+topic+partitionId; }