Mapper вход пару ключ-значение в Hadoop

Question

Нормально, мы пишем картографа в виде:

public static class Map extends Mapper<**LongWritable**, Text, Text, IntWritable> 

Здесь входной ключ-значение пара для картографа является <LongWritable, Text> - насколько я знаю, когда картографа получает входные данные его проходят по строке за строкой - так что Ключ для картографа означает номер строки - пожалуйста, исправьте меня, если я ошибаюсь.

Мой вопрос: Если я дам пару входной ключ-значение для картографа, как <Text, Text> то он дает ошибку

java.lang.ClassCastException: org.apache.hadoop.io.LongWritable cannot be cast to org.apache.hadoop.io.Text 

Является ли это обязательным, чтобы дать входной ключ-значение пары картографа в <LongWritable, Text> - если да, то почему? если нет, то в чем причина ошибки? Можете ли вы, пожалуйста, помочь мне понять правильную причину ошибки?

Заранее спасибо.

Answer 1

Вход в устройство отображения зависит от того, что используется InputFormat. InputFormat отвечает за чтение входящих данных и формирование их в любом формате, который ожидает Mapper. По умолчанию InputFormat равен TextInputFormat, который расширяет FileInputFormat<LongWritable, Text>.

Если вы не меняете InputFormat, используйте Mapper с различной сигнатурой типа Key-Value, чем <LongWritable, Text>, что приведет к этой ошибке. Если вы ожидаете ввода <Text, Text>, вам нужно будет выбрать подходящий InputFormat. Вы можете установить InputFormat в настройке работы:

job.setInputFormatClass(MyInputFormat.class); 

И как я уже сказал, по умолчанию установлено в TextInputFormat.

Теперь предположим, что ваш входные данные кучу новой строки разделенных записей, разделенных запятой:

• "А, value1"
• "B, значение2"

Если вы хотите, чтобы ключ ввода к отображаемому устройству был («A», «value1»), («B», «value2»), вам придется реализовать пользовательский InputFormat и RecordReader с подписью <Text, Text>. К счастью, это довольно легко. Существует an example here и, вероятно, несколько примеров, плавающих вокруг StackOverflow.

Короче говоря, добавьте класс, который расширяет FileInputFormat<Text, Text> и класс, который распространяется на RecordReader<Text, Text>. Переопределите метод FileInputFormat#getRecordReader и верните экземпляр своего пользовательского RecordReader.

Затем вам нужно будет реализовать требуемую логику RecordReader. Самый простой способ сделать это - создать экземпляр LineRecordReader в своем пользовательском RecordReader и делегировать все основные обязанности этому экземпляру. В методах getCurrentKey и getCurrentValue вы реализуете логику для извлечения содержимого текста с разделителями-запятыми, вызывая LineRecordReader#getCurrentValue и разбивая его на запятую.

Наконец, установите новый InputFormat как Input InputFormat, как показано после второго абзаца выше.

Answer 2

В книге «Hadoop: The Difinitive Guide» Тома Уайт Я думаю, что у него есть соответствующий ответ на этот вопрос (стр.197):

« ключи TextInputFormat, будучи просто смещение в файле, как правило, не очень полезно Это является общим для каждой строки в файле, чтобы быть пару ключ-значение, разделенных разделителем таковой. как символ табуляции. Например, это выход производства TextOutputFormat, Hadoop по умолчанию OUTPUTFORMAT. Для того, чтобы интерпретировать эти файлы правильно, KeyValueTextInputFormat подходит.

Вы можете указать разделитель через key.value. separator.in.input.line свойство. I t является символом табуляции по умолчанию. "

Answer 3

Ключ для ввода Mapper всегда будет целым типом .... клавиша ввода картографа указывает смещение линии нет. и значения указывают на всю строку ...... записывающее устройство считывает одну строку в первом цикле. И o/p картографа может быть любым, что захочет (может быть (текст, текст) или (текст, встроенный) или ......)