Apache Свинья нет выхода в AWS EMR Hadoop cluster

Question

Я новичок в AWS Hadoop-кластере.

Я развернул кластер Hadoop через EMR со свиньей 0.14.0.

Я вызвал UDF, который имеет некоторый выход для стандартного вывода (System.out.println()).

Однако, после того, как конвейер успешно завершен, выход моего UDF отсутствует.

Я также пробовал stderr и file stream.

Но все еще нет выхода.

Есть ли у кого-то такая же проблема?

Как с этим бороться?

Answer 1

Ваш UDF запускается на отдельных узлах кластера, а вызовы UDF System.out будут отображаться в журнале stdout узла. Они не будут напечатаны вам журналом Pig.

Вы можете получить доступ к этим журналам из диспетчера ресурсов, который вы можете легко найти с помощью AWS EMR Console. Здесь вы можете найти инструкции, как разрешить доступ.