2015-05-11 2 views
1

другой вопрос о hadoop. Возможно ли сокращение списка до карты? Я имею в виду у меня есть аль список, как это после того, как карты()
Hadoop MapReduce Output

 
KEY: VALUE:
aaa word
string
word
text
string
word

возможно сократить список до следующей структуры?

KEY: VALUE:
aaa word, 3
string, 2
text, 1


благодарит Мануэля

+0

Я не очень хорошо понимаю выход карты, извините. Вы имеете в виду, что у вас есть пара (ключ, значение), где key = aaa и value = word, string, word, text, string, word? – frb

+0

yes и для уменьшения списка значений, которые я просто хочу добавить в список. – manuel

+0

Да, возможно, в чем ваш вопрос? –

ответ

1

Что я хотел бы сделать это следующим образом: из-за вы пытаетесь реализовать типичное количество слов, но на список, который связан с ключом, я бы продлить например wordwount пример, производя на выходе из мапперов (ключ, значение) пар, таких как:

aaa-word,1 
aaa-string,1 
aaa-word,1 
aaa-text,1 
aaa-string,1 
aaa-word,1 

Т.е. Я бы добавил информацию aaa ко всем выходным парам. Затем редуктор будет вести себя как обычно: получая списки значений, ключи которых одинаковы; тогда общий ключ разбивается на aaa и слово; кроме того, возвращается длина списка, которая объединяется со словом.

(aaa-word,1),(aaa-word,1),(aaa-word,1)-->(aaa,word-3) 
(aaa-string,1),(aaa-string,1)-->(aaa,string-2) 
(aaa-text,1)-->(aaa,text-1) 
+0

Это было бы хорошим предложением. Таким образом, у меня есть и начало, и пункт назначения, в читаемом и строком или тексте. Большое спасибо – manuel