Сельдерей PeriodicTask для пользователя

Question

Я работаю над проектом, основное будущее которого будет периодически запускать один тип задачи async для каждого пользователя. Каждый пользователь сможет настроить задачу (работает ежедневно, еженедельно и т. Д. В указанное время). Также задача будет использовать некоторые данные, хранящиеся пользователем. Теперь я задаюсь вопросом, какой подход должен быть лучше: позволить пользователям создавать собственную PeriodicTask (например, используя ограниченную конечную точку) или создавать одиночную PeriodicTask (например, каждые 5 минут), которая будет перебирать всех пользователей и определять, должна ли быть задача в очереди или нет для текущего пользователя? Я думаю, что буду использовать AMPQ в качестве брокера.

Answer 1

Планировщик периодических заданий в сельдерее не предназначен для обработки тысяч запланированных задач, поэтому с точки зрения производительности гораздо лучше решить одну задачу, которая выполняется на наименьшем интервале (например, если вы разрешаете пользователю осуществлять ежедневную, еженедельную , ежемесячно - работает задача ежедневно достаточно)

такого подход и более стабильный - каждый раз, когда изменения в расписании, все расписания записи перезагружается

плюса является более безопасным, потому что вы не подвергать или использовать любой внутренний механизмы для выполнения задач