Какая версия Scala поддерживает Hortonwork HDP 2.1?

Question

Я строю Скальдинг, используя Scala 2.10.4. Его успешное создание работы. Но когда я запускаю работу в своем Hortonworks, это бросает следующее исключение.

По некоторым ответам, эта проблема возникает из-за противоречивой версии Scala.

Не могли бы вы объяснить мне эту проблему? Я искал версию scala в своем Hortonworks. Я не могу ее найти. Я что-то делаю неправильно?

Answer 1

StackTrace в нижней части показывает, что ваша работа бросает в HadoopUtils.getRootQueue, где вы пытаетесь выполнить .get на Option, например, что происходит, чтобы быть None. Поэтому я не думаю, что это проблема с версией, скорее, вы должны либо использовать .getOrElse, либо шаблонное совпадение по опции, и обрабатывать случай None соответствующим образом.

Кроме того, вы можете написать тест модуля Scalding, чтобы поймать эти ошибки раньше, чем отправить задание в кластер.