Есть ли ограничение на количество параллельных заданий потока данных (не ядра)? Я пытался отправить ~ 40 небольших заданий, чтобы работать параллельно, но начал получать ошибку превышения скорости передачи данных в 429 после 7 заданий.Максимальное количество параллельных заданий в облачном потоке данных
Спасибо, G
Да, есть ограничение на количество одновременных заданий по каждому проекту.
В настоящее время в альфа-регионе мы поддерживаем 10 параллельных заданий. Если вы хотите, чтобы этот лимит был увеличен в течение альфы, пожалуйста, свяжитесь с dataflow-feedback [at] google [dot] com.
Как уже отмечался в официальном документе here,
Вы можете запустить до 25 параллельных заданий DataFlow в проект Cloud Platform.
Служба потока данных в настоящее время ограничена обработкой запросов на работу размером 10 МБ или меньше. Размер запроса на задание специально привязан к представлению JSON вашего конвейера; более крупный трубопровод означает более крупный запрос.