Я пытаюсь протестировать веб-приложение, часть которого включает в себя создание запросов ~ 10K, принимая несколько < 1K, которые возвращают 200 OK и просматривают их данные. Webapp неисправен, и есть ложные срабатывания, поэтому каждые 200 OK должны быть как минимум трижды проверены.Выполнение огромного количества HTTP-запросов в Python
Работа в Python Я пытался сделать это с помощью threading и urllib, но в linux я получаю ошибки потока после ~ 920 потоков. (Моя теория - это /proc/sys/kernel/threads-max, деленная на тридцать, что жутко точно, но это возмутительно, что каждый поток регистрируется как 30 потоков с помощью os). В любом случае, я ищу хорошее решение для этой задачи. Я посмотрел на Twisted, но, похоже, я все равно буду связан потоками.
Любые идеи?
Что произойдет, если вы отрегулируете свои ограничения ресурсов через http://docs.python.org/library/resource.html? –
просто для уточнения задачи: вы хотите открыть ~ 10K потоков? я бы работал с 10 вершинами, каждый из которых делал несколько запросов, обрабатывал выход, а затем регистрировал его как-то. –