Ул из памяти, даже с двумя рядами

Question

я тестировал ульи со следующими запросами:

create table test (key string, value string) stored as orc; 
insert into table test values ('a','a'), ('b','b'); 
select key, count(*) from test group by key; 

И я получил неработающую память ошибки:

Error: Failure while running task:java.lang.RuntimeException: java.lang.OutOfMemoryError: Java heap space at org.apache.hadoop.hive.ql.exec.tez.TezProcessor.initializeAndRunProcessor(TezProcessor.java:157) at org.apache.hadoop.hive.ql.exec.tez.TezProcessor.run(TezProcessor.java:137)

Я искал в Интернете, но люди обычно получали эту ошибку, когда работали над некоторыми более крупными файлами. В моем случае файл имеет только две строки, а на моем компьютере - память 14 ГБ.

У меня есть /etc/hadoop/conf/hadoop-env.sh HADOOP_HEAPSIZE до 1024. Это не работает.

Answer 1

Сначала я увеличил tez.runtime.io.sort.mb, но я получил эту ошибку вместо того, чтобы: tez.runtime.io.sort.mb должно быть больше 0 и должно быть меньше доступной памяти задачи

Затем я увеличил hive.tez.java.opts (и некоторые другие параметры), как предложил @Hellmar Becker. Это поставило проблему.

Answer 2

У меня такая же ошибка при создании стола грузовика как ORC в этом Hadoop Hello World tutorial. Вы можете попытаться сжать хранилище ORC, используя:

CREATE TABLE XXX STORED AS ORC TBLPROPERTIES ("orc.compress.size"="1024"); 

Надеюсь, это поможет (для меня это сработало).

Answer 3

Пробовал много решений, не работает. Время быть с помощью этой работы вокруг -

CREATE TABLE avg_mileage (truckid STRING,avgmpg BIGINT) STORED AS ORC; 

Answer 4

Они также согласны с тем, что его проблема в песочнице ... https://community.hortonworks.com/questions/34426/failure-to-execute-hive-query-from-lab-2.html#comment-35900