Свинья: рабочие задания Hadoop

У меня есть скрипт свиньи, который запрашивает данные из файла csv.Свинья: рабочие задания Hadoop

Этот скрипт был протестирован локально с небольшими и большими CSV-файлами.

В малых Кластер: Она начинается с обработки сценариев, и не после завершения 40% вызова

ошибка является просто, Failed to read data from "path to file"

Что я делаю вывод, что, сценарий мог читать файл, но есть некоторое падение соединения, сообщение теряет

Но я получаю вышеупомянутую ошибку.

источник

2014-12-17 Bafla13

Если какой-либо ответ решил вашу проблему, нажмите большой флажок, чтобы принять его в качестве ответа. –

К сожалению, этого не произошло:/ – Bafla13

Можете ли вы предоставить дополнительную информацию, например журналы или исключения? –

Проверьте свои журналы, при необходимости увеличьте уровень детализации, но, возможно, вы столкнулись с ошибкой и ошибкой Out of Mem.

Проверить this answer о том, как сменить свиноводство.

Чтобы изменить память в Hadoop изменить hadoop-env.sh файл, как вы можете видеть документированную here

# The following applies to multiple commands (fs, dfs, fsck, distcp etc) 
export HADOOP_CLIENT_OPTS="-Xmx128m ${HADOOP_CLIENT_OPTS}"

Для Apache PIG у вас есть это в header of pig bash file:

# PIG_HEAPSIZE The maximum amount of heap to use, in MB. 
# Default is 1000.

Таким образом, вы можете использовать export или установите его в свой файл .bashrc

$ export PIG_HEAPSIZE=4096MB

источник

2014-12-17 12:11:41

Я только что последовал за ней, добавив две строки в файле log4j.properties, которые являются log4j.logger.org.apache.hadoop = error, A log4j.logger.org.apache.pig = ошибка, A Я получаю больше информации о том, что происходит не так? извините, каждый сценарий занимает 1 час, чтобы получить ошибку (этот тоже работает), хотел быть уверенным, о выходе из памяти, как я могу установить это в Hadoop? Thnx very much – Bafla13

Действительно, это исключение из памяти, как я могу поднять до Limit сейчас? – Bafla13

@MahmoudHabiballah проверить мои изменения о том, как повысить пределы памяти для Hadoop и Pig. –

Ответ для общей задачи будет изменять уровни ошибок в файлах конфигурации, добавив эти две строки в mapred-site.xml

log4j.logger.org.apache.hadoop = error,A 
log4j.logger.org.apache.pig= error,A

В моем случае, это ААС в OutOfMemory Exception

источник

2014-12-17 14:33:27 Bafla13

Свинья: рабочие задания Hadoop

ответ

Смежные вопросы