Сохраните и прочитайте сложное Записываемое значение в задаче Hadoop

Question

Мне нужно переместить сложное значение (реализует Writable) из результата 1-й работы по сокращению карты для ввода другой работы по уменьшению количества карт. Результаты 1-го задания сохранены в файле. Файл может хранить текстовые данные или BytesWritable (с выходными данными по умолчанию). Поэтому мне нужен простой способ конвертировать мой Writable в Text или To BytesWritable и из него. Он существует? Любой альтернативный способ сделать это? Большое спасибо

Answer 1

Пользователь irW прав, используйте SequenceFileOutputFormat. SequenceFile решает эту проблему, не переходя в Text Writable. При настройке вашей работы, используйте job.setOutputKeyClass и job.setOutputValueClass установить Записываемые подклассы, которые вы используете:

job.setOutputKeyClass(MyWritable1.class); 
job.setOutputValueClass(MyWritable2.class); 
job.setOutputFormatClass(SequenceFileOutputFormat.class); 

Это будет использовать формат Hadoop SequenceFile для хранения Writables. Затем в следующей работе, используйте SequenceFileInputFormat:

job.setInputFormatClass(SequenceFileInputFormat.class); 

затем клавишу ввода и значение для картографа в этой работе будет два Записываемых классов, первоначально указанных в качестве вывода в предыдущей работе.

Обратите внимание, что ваш сложный подкласс Writable выполняется правильно. Помимо того факта, что у вас должен быть пустой конструктор, методы write и readFields должны быть реализованы таким образом, чтобы любые поля Writable в классе также записывали и читали их информацию.