Python - вопрос о параллельном использовании `multiprocess`

Question

Я хочу использовать многопроцессорную обработку Python для параллельной обработки без использования блокировок (блокировки для меня противоположны многопроцессорности), потому что я хочу создать несколько отчетов из разных ресурсов на точно в то же время во время веб-запроса (обычно занимает около 3 секунд, но с многопроцессорностью я могу сделать это за 0,5 секунды).

Моя проблема заключается в том, что, если я разоблачить такую ​​функцию в Интернет и получить 10 пользователей, потянув за те же отчет в то же время, я вдруг 60 переводчиков открытых в то же время (, который бы к краху системы) , Это просто результат здравого смысла при использовании многопроцессорности или есть трюк, чтобы обойти этот потенциальный кошмар?

Благодаря

Answer 1

Если вы действительно беспокоитесь о том, что у вас слишком много случаев, вы можете подумать о защите вызова с помощью объекта Semaphore. Если я понимаю, что вы делаете, то вы можете использовать резьбовую объект семафор:

from threading import Semaphore 
sem = Semaphore(10) 
with sem: 
    make_multiprocessing_call() 

Я предполагаю, что make_multiprocessing_call() будет очистку после себя.

Таким образом, только 10 «лишних» экземпляров python когда-либо будут открыты, если другой запрос будет отправлен, ему просто нужно будет подождать, пока предыдущий не завершится. К сожалению, этого не будет в заказе «Очередь» ... или в любом порядке, в частности.

Надеюсь, что поможет

Answer 2

замки только когда-либо nessecary, если у вас есть несколько агентов писать к источнику. Если они просто доступны, блокировки не нужны (и, как вы сказали, проиграли цель многопроцессорности).

Вы уверены, что это разрушит систему? На веб-сервере, использующем CGI, каждый запрос порождает новый процесс, поэтому нет ничего необычного в том, что тысяч одновременных процессов (предоставленных в python, следует использовать wsgi и избегать этого), которые не вызывают сбоев в работе системы.

Я предлагаю вам проверить свою теорию - не должно быть сложно производить 10 одновременных доступов - и посмотреть, действительно ли ваш сервер рушится.

Answer 3

Вы пытаетесь использовать неправильное дерево, если вы пытаетесь использовать multiprocess, чтобы добавить параллелизм в сетевое приложение. Вы замаскируете полностью неправильное дерево, если вы создаете процессы для каждого запроса. multiprocess - это не то, что вы хотите (по крайней мере, как модель параллелизма).

Есть хороший шанс, что вы хотите асинхронную сетевую инфраструктуру, такую ​​как Twisted.