Мониторинг состояния задачи сельдерея без опроса?

Question

Возможно ли контролировать состояние задачи сельдерея без опроса?

Например, если у меня есть задача, которая периодически обновляет свое состояние с помощью update_state:

@task(bind=True) 
def my_task(self): 
    for x in range(100): 
     time.sleep(1) 
     self.update_state(state='PROGRESS', meta={'x': x}) 

Можно ли контролировать это состояние от другого процесса без опроса?

Answer 1

Я еще не сделал этого сам, так что это не полный ответ, но я заинтересован в решении той же проблемы. У меня есть три идеи заслуживает внимания:

• бы использовать встроенный handler states как on_failure, on_retry и on_success работы для вашего случая использования?

• Другой подкласс Task (тривиальный пример здесь: Callback for celery apply_async) и добавить on_* обработчики, которые получают передаваемые функции обратного вызова для пользовательских состояний. Возможно, это даже не понадобилось бы

• Лучшим может быть write a custom event receiver. Я думаю, что так работает их пример "Real-time Celery web-monitor". Связанная с этим почта SO: Implementing Twisted style local multiple deferred callbacks in Celery.

Answer 2

Это зависит от вашего брокера/бэкэнд. Если они используют pub/sub, тогда вашему процессу не потребуется опросить состояние задачи. Если они этого не сделают, вам нужно будет опросить (или, в более общем плане, процесс, связанный с отправкой сообщения с запросом о состоянии).

Я думаю, что и сельдерей, и redis обладают такой способностью.

Answer 3

Предполагая, что вы хотите отслеживать прогресс в своем продюсере, для этого вам потребуется использовать API мониторинга событий. Другие apis, обработчики и сигналы, работают только у рабочего; поэтому не использовать для отслеживания прогресса в производителе.

Просмотрите раздел «Руководство по мониторингу и управлению» в документах, и вы должны иметь возможность запускать примерный код (для приемника событий) почти дословно. Однако не упоминается, что для рабочего тоже необходимо создать событие. Аргумент -E для вашей работы исправит это.