Сельдерей - задачи очереди сыпучие

Question

Я код, который ставит в очередь большое количество (1000S) задач сельдерея, ради пример в скажем, что это:

for x in xrange(2000): 
    example_task.delay(x) 

Есть ли лучше/более эффективный способ постановки в очередь большое количество задач сразу? У всех есть разные аргументы.

Answer 1

Привлечение большого количества заданий не может быть здоровым для ваших работников сельдерея. Также, если вы планируете собирать результат вызванной задачи, ваш код не будет оптимальным.

Вы можете чередовать свои задачи партиями определенного размера. Рассмотрим пример, упомянутый в ссылке ниже.

http://docs.celeryproject.org/en/latest/userguide/canvas.html#chunks