GAE: отношение между скоростью очереди и max_concurrent_requests

Question

Я читаю документы о GAE task queues, и я не знаю о взаимоотношениях (если есть) между rate и max_concurrent_requests. Указывает ли rate один запрос, чтобы, например, rate = 20/s, а max_concurrent_requests = 10 эффективно означает максимум 200 запросов/с?

Answer 1

Есть 3 параметра:

• bucket size ~ максимальная скорость пакета
• rate ~ нормальная скорость обработки
• max concurrent requests ~ дополнительное ограничение параллельности

Когда задача начинает выполнение, его смотрит на ведро, чтобы проверить, есть ли токен или слот.

• Если да, количество токенов уменьшается с одним, и задача начинает выполняться, если уже выполняется менее max concurrent requests.
• Если нет, задача должна будет дождаться появления нового токена/слота со скоростью rate.

Если у вас большой ковш, он может заполнить, когда трафик низкий, и, например, с размером ковша 20 и внезапным пиком спроса, вы можете запустить 20 задач, потому что все они могут получить токен. Затем ведро пустое, и задачи будут обрабатываться со скоростью скорости.

Max concurrent requests может дополнительно ограничить скорость передачи, так как длинные задачи замедляют всю обработку. Без max concurrent requests только скорость bucket size и rate определяют скорость обработки, а не продолжительность ваших задач.