Я создаю конвейер данных, используя EMR Cluster в качестве ресурса. Как сервер создает после начальной загрузки, Она автоматически выполняет некоторый шаг, которыеКак отключить установочный шаг свиньи из конвейера данных aws
enable debugging,
Install Hive
Install Pig
install Task runner
Everthing является ОКЕЙ.
Но я хочу удалить шаг Установить свиньи из этого. есть ли способ сделать это?
Этот ответ рассматривает информацию об ошибке в комментариях.
Похоже, вы получаете очень старую версию Hadoop. Посмотрите на поле hadoopVersion, определенное в объекте EmrCluster, оно, вероятно, говорит «0.20». Я бы сказал, удалить это поле и заменить его amiVersion (http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-emrcluster.html). Выберите более новую версию, указанную в http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/ami-versions-supported.html.
Я не думаю, что вы можете удалить любой из этих шагов, так как datapipeline устанавливает их для вас. Есть ли причина, по которой вы хотите удалить эти шаги? –
Резонанс - это установка последней версии свиньи автоматически, но ami не поддерживает, поэтому сбой работы – developerCK
Является ли это конкретным ами, который вы используете, или это по умолчанию ami, который предоставляет датапайплайн? Вы можете указать amiId в полях emrCluster, чтобы указать более новую ами, которая поддерживает последнюю версию свиньи –