Не удается запустить интенсивную программу памяти на Spark через YARN

Я пытаюсь сравнить программу на кластере Azure с помощью Spark. Ранее мы запускали это на EC2 и знаем, что достаточно 150 ГБ ОЗУ. Я попробовал несколько настроек для исполнителей и дал им 160-180 ГБ ОЗУ, но независимо от того, что я делаю, программа умирает из-за того, что исполнители запрашивают больше памяти.Не удается запустить интенсивную программу памяти на Spark через YARN

Что я могу сделать? Есть ли больше вариантов запуска, которые я должен рассмотреть, я пробовал все мыслимые настройки исполнителя, и ничто, кажется, не хочет работать. У меня полная потеря.

источник

2016-04-13 Dylan Lawrence

Этот вопрос очень широк. Вы можете попробовать сначала, указав более подробное описание, чем «программа умирает». Мы даже не знаем, какие варианты вы сейчас рассматриваете. Какую версию искры вы используете? Запуск по какой версии Hadoop? Сколько памяти для исполнителей? Водитель ? – eliasah

@eliasah Я просто не знаю очень много, подробности мудрый, он действительно просто умирает, у него есть ошибки памяти исполнителя и, в конечном итоге, «слишком много неудач исполнителя». Что касается другой информации, я использую 1.6.0, не знаю версию Hadoop (какая бы версия HDInsight не использовала). Я попробовал несколько настроек исполнителя, ни один из них не работает. –

Можете ли вы поделиться командой отправки, которая выполняет ваше приложение? – eliasah

Для вашей команды вы указали 7 исполнителей и каждый с 40 г памяти. Это 280G памяти, но вы сказали, что ваш кластер имеет только 160-180 Гб памяти? Если требуется только 150 ГБ памяти, почему именно spark-submit настроен таким образом?

Какой у вас тип узла кластера HDI и сколько из них вы создали?

Вы использовали YARN ранее на EC2? В этом случае конфигурация такая же?

источник

2016-04-13 22:47:38 Lin

Неправильная установка исполнителя, у меня есть правильный вариант, который запускается сейчас. У меня есть 4 узла с 8 ядрами каждый, 56 ГБ оперативной памяти на узел. Мы не использовали YARN в EC2, просто нормальное представление, но я не думаю, что Azure позволяет отправлять в кластер без YARN. –

Не удается запустить интенсивную программу памяти на Spark через YARN

ответ

Смежные вопросы