Получение значения поля из трубы вне трубы в Hadoop Cascading

Question

Что касается вышеприведенного вопроса, есть ли способ получить значение поля из трубы. И использовать это значение вне области трубы в Hadoop Cascading? Данные имеют разделитель как «|»:

first_name|description 

Binod|nothing 
Rohit|nothing 
Ramesh|abc 

Сверху трубы, мне нужно, чтобы получить значение из описания, что бы это не «ничего» или «а».

Answer 1

Я предполагаю, что это то, что вы хотите: у вас есть труба с одним полем, то есть конкатенация $ {first_name} и $ {description}. И вы хотите, чтобы на выходе был канал с полем $ {description}.

Если да, это то, что я бы сделал: реализуем function, который извлекает описание и выполняет его поток.

Вы функция (назовем его ExtractDescriptionFunction) следует переопределить метод работу с чем-то вроде этого:

@Override 
public void operate(FlowProcess flowProcess, FunctionCall<Tuple> functionCall) { 
    TupleEntry arguments = functionCall.getArguments(); 

    String concatenation = arguments.getString("$input_field_name"); 
    String[] values = concatenation.split("\\|"); // you might want to have some data sanity check here 
    String description = values[1]; 

    Tuple tuple = functionCall.getContext(); 
    tuple.set(0, description); 
    functionCall.getOutputCollector().add(tuple); 
} 

Затем в вашем определении потока, добавьте это:

Pipe outputPipe = new Each(inputPipe, new ExtractDescriptionFunction());

Надеется, что это помогает ,

Answer 2

Я не понимаю, что вы пытаетесь сказать. Вы хотите выделить значение поля ${description} вне сферы действия трубы. Если возможно, что-то вроде этого в псевдокоде.

ул = получить значение описания в inputPipe (которая находится в рамках задания, а не функций или буфера)

Answer 3

Hadoop каскадный разработан с концепцией создания реального сценария случая путем пропускания данных между трубой и выполняются параллельно с системой Map-Reduce Hadoop.

Выполнения Java программы ненужно зависит от остальной части потока каскадного (от создания источника крана тонуть кран), а также то, что Hadoop каскадный делает: он выполняет эти два различных процесс в различных независимых экземплярах виртуальной машины Java и они не смогут поделиться своими ценностями.

После кода и его выход показывает краткие подсказки:

System.out.println("Before Debugging"); 
m_eligPipe = new Each(m_eligPipe, new Fields("first_name"), new Debug("On Middle", true)); 
System.out.println("After Debugging"); 

Ожидаемое Ouput:

Before Debugging 
On Middle: ['first_name'] 
On Middle: ['Binod'] 
On Middle: ['Rohit'] 
On Middle: ['Ramesh'] 
After Debugging 

Фактический выход:

Before Debugging 
After Debugging 
... 
... 
On Middle: ['first_name'] 
On Middle: ['Binod'] 
On Middle: ['Rohit'] 
On Middle: ['Ramesh']