Профилирование потоков Python

Question

Я пытаюсь выяснить, как измерить производительность нескольких потоков python в моем приложении. В настоящее время у меня есть несколько задач, которые выполняются в разных потоках на основе ввода пользователем, и я хотел бы измерить время выполнения, возможно, даже потребление памяти каждого из потоков. Я попытался использовать cProfile (при каждом создании потока, затем я бы записал данные в файл, а затем обобщил все результаты) с ограниченным успехом. Кроме того, у меня есть дополнительная проблема с блокировкой IO, которая искажает мои результаты. Есть ли способ эффективно профилировать мое приложение?

Answer 1

Существует несколько различных способов решения этой проблемы. cProfile замечательный и поставляется с Python, однако многие люди рассматривают многопоточное профилирование как проблему. Один из способов обойти это - запустить отдельные экземпляры cProfile для каждого потока, а затем объединить результаты, используя Stats.add.

Если это не так полезно, как вы надеялись, другой альтернативой может быть использование Yappi, что я имел успех, используя несколько специальных многопоточных случаев. У него отличная документация, поэтому у вас не должно быть слишком много проблем с настройкой.

Для профилирования, специфичного для памяти, проверьте Heapy. Но будьте осторожны, это может создать некоторые из самых больших файлов журнала, которые вы когда-либо видели, если ваш код плохой!