Как написать Avro многократным выходной каталог с помощью искрового

Question

Привет, Существует тема о написании текстовых данных на несколько выходных каталогов в один искровой работу с помощью MultipleTextOutputFormat

Write to multiple outputs by key Spark - one Spark job

Я хотел бы спросить, есть ли какой-нибудь аналогичный способ записи Avro данных в нескольких каталогах

То, что я хочу, чтобы записать данные в файл Avro в другой каталог (на основе поля метки времени, в тот же день в метку времени идет в том же каталоге)

Answer 1

Класс AvroMultipleOutputs упрощает запись данных Avro на несколько выходов.

• Корпус один: запись на дополнительные выходы, отличные от выходных данных по умолчанию. Каждый дополнительный вывод или именованный вывод может быть сконфигурирован с помощью собственных схемных и выходных форматов.

• Дело два: записать данные в разных файлах, предоставленных пользователем

AvroMultipleOutputs поддерживает счетчики, по умолчанию они отключены. Группа счетчиков - это имя класса AvroMultipleOutputs. Имена счетчиков совпадают с именами выходов. Они подсчитывают количество записей, записанных для каждого имени вывода.

также посмотреть на

• MultipleOutputer
• MultipleOutputsFormatTest (смотри пример кода с модульного тестирования случае здесь ... For some reason MultipleOutputs does not work with Avro, but the near-identical AvroMultipleOutputs does. These obviously related classes have no common ancestor so they are combined under the MultipleOutputer type class which at least allows for future extension.)