Hadoop нагрузки и магазин

Question

Когда я пытаюсь запустить скрипт Свиньи, который имеет два «магазин» в том же файле, этот способ

store Alert_Message_Count into 'out'; 
store Warning_Message_Count into 'out'; 

Он висит, я имею в виду, что не происходит после того, как показывает 50% сделано.

Это неправильно? Не удается сохранить оба результата в одном файле (папке)?

Answer 1

Обычно Hadoop MapReduce не позволяет сохранять вывод задания в папку, которая уже существует, поэтому я бы предположил, что это невозможно (учитывая, что Pig переводит команды в последовательность шагов M/R) - но я ожидал бы некоторую форму сообщения об ошибке, а не просто зависать.

Если вы открываете трекер отслеживания кластера и просматриваете журналы для задачи, делает ли журнал ничего примечательного, которое может помочь диагностировать это дальше?

Может быть стоит проверить со списками рассылки свинью (если вы еще не сделали)

Если вы хотите добавить один набор данных в другой, используйте ключевое слово union:

grunt> All_Count = UNION Alert_Message_Count, Warning_Message_Count; 
grunt> store All_Count into 'out'; 

Answer 2

HDFS делает нет режима добавления. Таким образом, в большинстве случаев, когда вы запускаете программы сокращения масштаба, выходной файл открывается один раз, данные записываются и затем закрываются. Предполагая этот подход, вы не можете записывать данные одновременно в один и тот же файл.

Попробуйте написать отдельные файлы и проверьте, не работают ли карты-красные программы. Если они все еще будут, то есть и другие проблемы.

Вы можете получить результаты и сократить количество журналов для анализа того, что пошло не так.

[Edit:]

Вы не можете писать в тот же файл или добавить в существующий файл. Функция добавления HDFS - это незавершенная работа.

Для работы над этим вы можете сделать две вещи:

1) Если у вас есть то же самое содержание схемы в обоих Alert_Message_Count и Warning_Message_Count, вы можете использовать союз как предложил Крис.

2) Выполняйте постобработку, если схема не совпадает. Это написать программу уменьшения карты, чтобы объединить два отдельных выхода в один.