0

я создал довольно простой MapReduce трубопровода, но я имею загадочное:Python AppEngine MapReduce

PipelineSetupError: Error starting production.cron.pipelines.ItemsInfoPipeline(*(), **{})#a741186284ed4fb8a4cd06e38921beff:

, когда я пытаюсь запустить его. Это код трубопровода:

class ItemsInfoPipeline(base_handler.PipelineBase): 
""" 
""" 

    def run(self): 
     output = yield mapreduce_pipeline.MapreducePipeline(
      job_name="items_job", 
      mapper_spec="production.cron.mappers.items_info_mapper", 
      input_reader_spec="mapreduce.input_readers.DatastoreInputReader", 
      mapper_params={ 
       "input_reader": { 
        "entity_kind": "production.models.Transaction" 
       } 
      } 
     ) 

     yield ItemsInfoStorePipeline(output) 


class ItemsInfoStorePipeline(base_handler.PipelineBase): 
""" 
""" 

    def run(self, statistics): 
     print statistics 
     return "OK" 

Конечно я проверил, что путь картографа является правильным, и принять во внимание, что ItemsInfoStorePipeline не делает ничего, потому что я фокусирования есть трубопровод начал, что не происходит ,

Все это вызвано тем Колба, следующее:

class ItemsInfoMRJob(views.MethodView): 
""" 

It's based on transacions. 

""" 

    def get(self): 
    """ 

    :return: 
    """ 
     pipeline = ItemsInfoPipeline() 
     pipeline.start() 

     redirect_url = "%s/status?root=%s" % (pipeline.base_path, pipeline.pipeline_id) 

     return flask.redirect(redirect_url) 

Я использую GoogleAppEngineMapReduce==1.9.22.0

Спасибо за любую помощь.

UPDATE

Приведенный выше код работает после развертывания.

UPDATE 2

Видимо там больше людей, занимающихся этим:

https://github.com/GoogleCloudPlatform/appengine-mapreduce/issues/103

ответ

0

Я обновляю это. У меня есть база кода, которая использует конвейеры и отлично работает в OSX. У меня был другой разработчик, используя OSX, что просто ничего я не кажется, чтобы получить его работу, он получает это:

Встречающиеся непредвиденная ошибка от ProtoRPC реализации метода: PipelineSetupError

Я пробовал замены версий вокруг и что идеально подходит для нашего ПК, и это продолжается. Я, наконец, сломался и построил изображение Ubuntu в докере. Я также стараюсь полностью соответствовать нашим версиям AppEngine и библиотек.

Он также отказывается начинать с того же сообщения. Я начал работать через библиотеки, раскомментируя ту часть, которая проглотила ошибку, но это была длинная яма кролика, которую я начал, потому что многие вещи над ней также, похоже, поглощают все происходящее.

+0

Интересно. Вы можете вставить здесь результат: 'which dev_appserver.py'? Было бы очень полезно. –

+0

Кроме того, это не работает для меня. –

+0

Он работал только на одной машине. Моя коробка osx работает нормально. Из отчаяния я создал базу данных докеров на Ubuntu, и это надежно бросает эту ошибку, и выше не исправляет ее. – user3542985

Смежные вопросы