2016-05-13 4 views
2

Я недавно изучаю oozie. Мне мало любопытно о действии оболочки. Я уверен, выполнение действия оболочки, которая содержит команду оболочки, какПочему oozie подает действие оболочки на пряжу?

hadoop jar <jarPath> <FQCN> 

При выполнении этого действия есть две рабочие нити бегущие которые

  1. один для Hadoop работы

  2. один для действий оболочки

Я не понимаю, зачем оболочке требуется пряжа для выполнение. Я также пробовал действие электронной почты. Он выполняется без ресурсов пряжи.

+2

Email просто требует вызова API, он не потребляет оперативную память или процессор или диск ввода-вывода - и всего лишь немного сетевого ввода-вывода. И действительно, это ** только ** действие, которое выполняется внутри сервера Oozie. Все остальное выгружено до YARN. Это основной дизайн. Помните, что Yahoo! создал Oozie для запуска ** raw MapReduce ** рабочих мест; остальные (java, shell, pig, hive, distcp ...) были добавлены в качестве запоздалой мысли, используя задание «Launcher» с 1 Map в качестве прокси. –

+2

С чуть-чуть Googling: * «Основной принцип ** ** в Oozie заключается в том, что сервер Oozie никогда не запускает пользовательский код, отличный от исполнения самого рабочего процесса. Это обеспечивает лучшую стабильность обслуживания, изолируя код пользователя от Oozie's код. Сервер Oozie также является ** без гражданства **, и работа с пусковой установкой позволяет ему оставаться таким образом ». https://www.safaribooksonline.com/library/view/apache-oozie/9781449369910/ch04. HTML –

ответ

2

Чтобы ответить на этот вопрос, разница между

  1. работает скрипт самостоятельно (.sh файл или CLI)
  2. работает действие оболочки как часть процесса oozie. (Сценарий оболочки в действии оболочки oozie)

Первый случай очень очевиден.

Во втором случае oozie запускает скрипт оболочки через YARN (является переговорщиком ресурсов) для запуска вашего сценария оболочки в кластере, где установлено oozie, и запускает задания MR внутри, чтобы запустить действие оболочки. Таким образом, скрипт оболочки запускается как приложение YARN. Журналы рабочего процесса oozie показывают, как запускается действие оболочки в oozie.

Смежные вопросы