Ошибка выполнения улья tz

Question

У меня есть запрос на улей, и я получил следующую ошибку при настройке hive.execution.engine = tez, в то время как запрос работает под движком = MR.

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask 

Мой запрос - это внутреннее соединение, и данные довольно большие.

Другое дело, что я столкнулся с этой проблемой раньше. Но tez работает позже, поэтому я подумал, что речь идет о чем-то неустойчивом в отношении улья.

Answer 1

После проверки вашего пряжи.xml со следующими свойствами.

<property> 
    <name>yarn.nodemanager.vmem-check-enabled</name> 
    <value>false</value> 
    <description>Whether virtual memory limits will be enforced for containers</description> 
    </property> 
<property> 
    <name>yarn.nodemanager.vmem-pmem-ratio</name> 
    <value>4</value> 
    <description>Ratio between virtual memory to physical memory when setting memory limits for containers</description> 
    </property> 
<property> 
    <name>yarn.scheduler.minimum-allocation-mb</name> 
    <value>1024</value> 
    </property> 
    <property> 
    <name>yarn.scheduler.maximum-allocation-mb</name> 
    <value>2048</value> 
    </property> 
    <property> 
    <name>yarn.nodemanager.resource.memory-mb</name> 
    <value>2048</value> 
    </property> 
</configuration> 

Answer 2

При запуске вашего HQL через hive включить следующий параметр. Это даст вам подробные журналы, и вы можете легко определить основную причину.

-hiveconf hive.root.logger=DEBUG,console 

Я столкнулся с подобной проблемой, и выше собственность мне очень помогает.

т.д .: Я получил следующее сообщение

16/04/14 10:29:26 ERROR exec.Task: Failed to execute tez graph. 
org.apache.tez.dag.api.TezException: org.apache.hadoop.yarn.exceptions.InvalidResourceRequestException: Invalid resource request, requested memory < 0, or requested memory > max configured, requestedMemory=20480, maxMemory=11288 

Когда я изменил настройки в 11288, мой запрос пошел через штраф.

Надеюсь, это вам поможет.