Насколько быстро может быть заблокирован() или прокси-сервер, перечисляет проблему?

Question

Спецификация задачи:

Я бег несколько сложных задач в питоне и ускорить его, я решил использовать питон MultiProcessing библиотеки. Это сработало очень хорошо, но через некоторое время я начал задаваться вопросом, сколько времени задерживают, я использую, потребляя и сколько процессов блокируют друг друга.

Структура процессов заключается в следующем:

Один процесс, который обновляет общий список между процессами. Код обновления данных что-то вроде этого:

lock.acquire() 
list_rex[0] = pat.some_list 
list_rex[1] = pat.some_dictionary 
lock.release() 

где list_rex и замок определяются

list_rex = manager.list([[some_elements], {some_elements}]) 
lock = multi.Lock() 

И тогда есть несколько процессов, которые время от времени обновляет свое собственное пространство памяти с этим списком .The код выглядит следующим образом:

lock.acquire() 
some_list = list_rex[0] 
some_dict = list_rex[1] 
lock.release() 

some_list и some_dict каким-то образом связаны, так что я не могу позволить процессам иметь информацию в some_list из различных обновлений, чем в some_dict ,

И мой вопрос:, насколько быстро методы приобретают() и освобождают()? В моем случае их можно вызвать в течение нескольких секунд, а иногда и миллисекунд. И/или есть ли способ избежать использования замков в моем случае?

Спасибо за ваше время.

EDIT: после рассмотрения вашего комментария, мой вопрос, вероятно, должен быть - как списки прокси влияют на мои расчеты? Я использую «some_list» и «some_dict» действительно много, чтобы читать после обновления.

Answer 1

Я собирался написать очень сложный ответ, включающий блокировки считывателя-записи, присвоения атомных ссылок, не требующие блокировок, если вы просто использовали один объект как для списка, так и для словаря вместе, а также некоторые другие вещи, касающиеся измерения производительности, прежде чем что-либо менять. ..

Но потом я потратил немного времени, чтобы посмотреть, что вы на самом деле делаете в своих замках ... по существу, не более чем пара заданий ссылки. Ни один из них не блокирует, или делает I/O, или что-либо «медленное». Это всего лишь несколько переменных заданий. Таким образом, короткий ответ заключается в том, что вы приобретаете/выпускаете блокировки, вероятно, незначительны. Если вы не входите в замки через десятки потоков сотни раз в секунду, это воздействие незначительно. Но не верьте мне на слово - пойдите, измерьте это.

Я больше беспокоюсь о том, что происходит, когда some_list и some_dict ссылаются на другие процессы за пределами блокировки, в то время как list_rex обновляется внутри блокировки.