Уровень параллелизма за задание

Question

Мне нужно загрузить большое количество URL-адресов из нескольких доменов с помощью Celery. У меня есть задача, которая загружает один URL-адрес, делает некоторые вещи, а затем сохраняет некоторые данные в MongoDB.

Машина, которая запускает задачу, может легко обрабатывать 64 параллельных задания этого типа, но чтобы свести к минимуму воздействие на целевой веб-сервер, я хочу, чтобы он использовал четыре одновременных запроса на домен. Есть какой-либо способ сделать это?

Я рассмотрел несколько примеров блокировки, но все они, похоже, отменяют задачу, если она не может получить блокировку за определенное количество времени.

Answer 1

Просто понял, что это легко может быть достигнуто с помощью цепей и аккордов, просто добавив задачи URL визита в N цепочки (где N является числом одновременного загрузчика на домен.)

Затем я могу добавить эти цепочки к одному аккорду для выполнения задачи анализа, когда все URL-адреса были загружены.