Как написать пользовательский формат ввода

Question

Я новичок до Hadoop, и у меня есть ситуация, когда релевантно только одна строка на 4 строки входного текста. В настоящее время я использую по умолчанию TextInputFormat и условную логику, чтобы пропустить все остальные три строки, которые не имеют значения.

Как использовать Custom Input Format, чтобы справиться с этим. Поскольку я новичок в hadoop, я мало что знаю о CustomInputFormat. Любая помощь будет оценена по достоинству. Благодаря !

Answer 1

Я думаю, вы можете использовать NLineInputFormat, где вы можете указать, сколько строк строит одну запись. Это может быть легко & готовое к использованию решение.

Если вы хотите реализовать свой собственный формат ввода, тогда вы, вероятно, внесете собственный формат ввода &, чтобы указать, что создает вашу одну запись.

ниже один из примера http://deep-developers.blogspot.in/2014/06/custom-input-split-and-custom.html