Сельдерей не принимает задачи

Question

Я добавляю бэкэнд для результатов Сельдерея, и у меня проблема, когда я отправляю задания, а некоторые принимаются, а другие нет.

Задачи, которые и не выполняются, как показывают этот выход журнала:

[2014-06-09 15:50:59,091: INFO/MainProcess] Received task: tasks.multithread_device_listing[e3ae6d12-ad4b-4114-9383-5802c91541f2] 

те, которые выполняются затем показать этот вывод:

[2014-06-09 15:50:59,093: DEBUG/MainProcess] Task accepted: tasks.multithread_device_listing[e3ae6d12-ad4b-4114-9383-5802c91541f2] pid:2810 

Хотя задачи, которые не выполняются никогда не приедет на указанной выше линии.

Как отправить задачи:

from celery import group 
from time import sleep 


signatures = [] 
signature = some_method_with_task_decorator.subtask() 
signatures.append(signature) 
signature = some_other_method_with_task_decorator.subtask() 
signatures.append(signature) 
job = group(signatures) 
result = job.apply_async() 
while not result.ready(): 
    sleep(60) 

Мой сельдерей конфигурации от того, что сообщать об этом является:

software -> celery:3.1.11 (Cipater) kombu:3.0.18 py:2.7.5 
       billiard:3.3.0.17 py-amqp:1.4.5 
    platform -> system:Darwin arch:64bit imp:CPython 
    loader -> celery.loaders.app.AppLoader 
    settings -> transport:amqp results:amqp://username:pass@localhost:5672/automated_reports 

    CELERY_QUEUES: 
     (<unbound Queue automated_reports -> <unbound Exchange default(direct)> -> automated_reports>,) 
    CELERY_DEFAULT_ROUTING_KEY: '********' 
    CELERY_INCLUDE: 
     ('celery.app.builtins', 
    'automated_reports.queue.tasks', 
    'automated_reports.queue.subtasks') 
    CELERY_IMPORTS: 
     ('automated_reports.queue.tasks', 'automated_reports.queue.subtasks') 
    CELERY_RESULT_PERSISTENT: True 
    CELERY_ROUTES: { 
     'automated_reports.queue.tasks.run_device_info_report': { 'queue': 'automated_reports'}, 
     'uploader.queue.subtasks.multithread_device_listing': { 'queue': 'automated_reports'}, 
     'uploader.queue.subtasks.multithread_individual_device': { 'queue': 'automated_reports'}, 
     'uploader.queue.tasks.multithread_device_listing': { 'queue': 'automated_reports'}, 
     'uploader.queue.tasks.multithread_individual_device': { 'queue': 'automated_reports'}} 
    CELERY_DEFAULT_QUEUE: 'automated_reports' 
    BROKER_URL: 'amqp://username:********@localhost:5672/automated_reports' 
    CELERY_RESULT_BACKEND: 'amqp://username:pass@localhost:5672/automated_reports' 

Моя команда стартап:

~/Documents/Development/automated_reports/bin/celery worker --loglevel=DEBUG --autoreload -A automated_reports.queue.tasks -Q automated_reports -B --schedule=~/Documents/Development/automated_reports/log/celerybeat --autoscale=10,3 

Кроме того, когда я перестану сельдерей, он вытаскивает задачи из моей очереди, которые никогда не принимались. Затем, когда я перезагружаюсь, он принимает их и выполняет их.

Любая помощь в этом поведении очень ценится. Я уверен, что это имеет какое-то отношение к моей конфигурации бэкэнд, но мне сложно изолировать проблему или ее исправление. Благодаря!

Answer 1

Я нашел ответ на этот вопрос.

Я заметил, что в некоторых случаях «inqueue», по-видимому, правильно выполняет задания, но не другие. Когда я искал документы Celery, я нашел это примечание: http://celery.readthedocs.org/en/latest/whatsnew-3.1.html?highlight=inqueue#caveats

Я выполнял подзадачи из долговременной задачи, поэтому это звучало очень похоже на поведение, которое я видел. Кроме того, я на упомянутой версии, тогда как в предыдущих версиях у меня не было этой проблемы с той же конфигурацией.

Я добавил параметр -Ofair для запуска рабочего, и он сразу же решил проблему.