Ошибка mrjob: DescribeJobFlows API устарел

Question

Я использую mrjob в первый раз и пытаюсь запустить базовый код подсчета слов на EMR. Я последовал за каждым шагом в документе mrjob here, но все же получил ошибку.

<ErrorResponse xmlns="http://elasticmapreduce.amazonaws.com/doc/2009-03-31"> <Error> 
    <Type>Sender</Type> 
    <Code>ValidationError</Code> 
    <Message>DescribeJobFlows API is deprecated. Please refer to http://docs.aws .amazon.com/ElasticMapReduce/latest/API/API_DescribeJobFlows.html for further in formation</Message> </Error> <RequestId>e300f5b0-3396-11e5-b377-5b3cd3427dd8</RequestId> </ErrorResponse> 

В чем проблема, как я могу это исправить?

Командная строка была ниже

python C:\Users\Administrator\MyIpython\word_count.py -r emr C:\Users\Administrator\MyIpython\111.txt

Я нашел кого-то с той же проблемой в mrjob Google группы here. Означает ли это, что mrjob не может функционировать до новой версии?

Answer 1

Да, я считаю, что текущая версия mrjob сломана до следующего выпуска. Решение уже разрабатывается и планируется для следующего выпуска.

Немедленное решение является филиалом список кластеры (которые, предположительно, будут объединены с мастером в следующем выпуске): https://github.com/davidmarin/mrjob/tree/list-clusters

Вам нужно будет клонировать mrjob репо с GitHub, перейти к списку-кластеров ветку и установить вручную. Кажется, что эта ветка решает проблему.

UPDATE:

Для тех, кто смотрит на этот вопрос сейчас, похоже, филиал изменилось:

The list-cluster branch no longer exists; please use the v0.4.x branch instead: https://github.com/Yelp/mrjob/tree/v0.4.x

В списке рассылки