Настройка конвейера данных AWS на долговременном кластере EMR

Если у меня есть длительный период работы EMR-кластера, и после этого я хочу настроить Data Pipeline на что-то в этом кластере, как я могу это сделать?Настройка конвейера данных AWS на долговременном кластере EMR

Я должен установить Task Runner на этом кластере EMR? Или, может быть, Task Runner будет предустановлен? Или, может быть, есть другой простой способ?

источник

2017-02-12 lubom

Задача Runner не устанавливается предварительно в EMR. Его необходимо настроить вручную, следуя этим steps, чтобы установить Task Runner в кластер EMR.

При запуске процесса запуска задачи укажите имя для --workerGroup. Это имя будет идентификатором этого кластера EMR и может использоваться для поля WorkerGroup в действиях Datapipeline.

источник

2017-02-12 16:36:11 franklinsijo

Можно ли это сделать с помощью Bootstrap Action? – lubom

Да, вы можете добавить эти шаги в качестве сценария и использовать это для загрузки. – franklinsijo

Не могли бы вы опубликовать свой бутстрап? У меня есть статус WAITING_FOR_RUNNER. – lubom

Настройка конвейера данных AWS на долговременном кластере EMR

ответ

Смежные вопросы