HDinsight - Hive Ошибка кучи Java

Question

Я пытаюсь запустить простой запрос с Hive на HDinsight. Задача карта сохраняет неудачу, ниже это ошибка журнала:

2015-02-28 19:01:02,114 INFO [main]  org.apache.hadoop.hive.ql.exec.mr.ExecMapper: ExecMapper: processed 336785 rows: used memory = 414394136 
2015-02-28 19:01:02,130 FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.OutOfMemoryError: Java heap space 

Я пытался установить размер кучи Java, добавив: множество mapred.child.java.opts = -Xmx2048m;

Я также пытался установить это значение на -Xmx1024m до -Xmx8g без успеха.

Answer 1

Оказалось, что у меня была проблема с набором данных, одна строка в моем файле была около 5gb