Python: Несколько HTTP-запросов одновременно

Question

Я ищу, чтобы настроить HTTP-сервер, который принимает некоторый ввод, а затем приложение должно одновременно отправлять несколько HTTP-запросов (на другой сервер). Каков наилучший подход для этого?

Если я использую витую структуру, мне все еще нужно использовать потоки?

Answer 1

Вам не нужно беспокоиться о потолочной или поточной безопасности. Большая часть времени, затрачиваемая на выполнение HTTP-запросов, ждет ответа, и в это время Python может безопасно запускать другой код параллельно. Используйте некоторые из библиотек и встроенные функции. Python должен управлять одновременными ожиданиями ввода-вывода.

Вы можете использовать gevent. У Twisted есть аналогичная функциональность, но может быть сложнее научиться использовать. Также есть функциональность multiprocessing.dummy, встроенная в Python.

Если вы используете что-то другое, кроме Twisted, вы можете и должны использовать библиотеку запросов для работы с материалами HTTP-клиента в сочетании с вышеуказанным - вам может потребоваться использовать grequests, который является вариантом с зеленой резьбой, чтобы сделать неблокирующий ввод-вывод.

Answer 2

Либо Threading, либо Twisted могут это сделать.

ie. Если вы используете скручен, вам не нужно использовать Threading.

Имейте в виду, что на некоторых серверах есть ограничение на количество подключений, которое они разрешают с одного IP-адреса.

Answer 3

Если вы используете витую сеть, вам не нужно использовать потоки. Просто выполните запросы и дождитесь ответов, добавив обратные вызовы, которые будут выполняться по мере их доступности.

Для удобства использования HTTP-запросов с использованием Twisted, вы можете рассмотреть Treq, уровень удобства для использования HTTP-клиента Twisted.