Профилирование запроса свиньи

Question

Я пытаюсь профилировать запрос свиньи, но до сих пор не получил ничего полезного.

Я пытаюсь измерить CPU, дисковый ввод-вывод, использование ОЗУ.

Может ли кто-нибудь навестить меня на этом?

Вещи пытался до сих пор

Морская звезда - Работает с Hadoop работы, но НЕ с Свиньи - Не поддерживает свинью-запрос

HPROF - Работает с Hadoop работы, но НЕ с Pig запроса. - Создает файл профиля только для работы Hadoop

Оба задания Hadoop и свиньи выполняются в одном кластере.

Спасибо за чтение !!

Answer 1

Вы можете получить некоторые данные о задержке, используя JXInsight/Opus (который является бесплатным) и пометить или пометить кластер перед выполнением запроса, а затем сделать снимок после завершения задания.

http://www.jinspired.com/site/jxinsight-opus-1-0

Мы будем выходить с JXInsight/Opus для X изданий для различных больших платформ данных, включая Кассандру, Hadoop, Свиньи, ....

Если вам нужно больше мощности и более метров (cpu, io, ...), вы можете всегда смотреть на продукт JXInsight/OpenCore.

Answer 2

Вы можете использовать hprof или другие инструменты для профилирования на задании MR, создаваемом свиньей. См. https://cwiki.apache.org/confluence/display/PIG/HowToProfile