Python несколько процессов вместо потоков?

Question

Я работаю над веб-сервером, который часто захватывает данные рынка в реальном времени из Интернета и помещает данные в базу данных MySQL.

В настоящее время у меня есть мой основной поток push задач в объект Queue. Затем у меня около 20 потоков, которые читаются из этой очереди, и если задача доступна, они ее выполняют.

К сожалению, я сталкиваюсь с проблемами производительности, и, проведя много исследований, я не могу решить.

Как я вижу, у меня есть 3 варианта: Должен ли я использовать распределенный подход к задачам с чем-то вроде Celery? Должен ли я переключиться на JPython или IronPython, чтобы избежать проблем с GIL? Или нужно просто создавать разные процессы вместо потоков, используя обработку? Если я поеду за последним, сколько процессов - хорошая сумма? Что представляет собой хороший многопроцессорный производитель/потребительский дизайн?

Спасибо!

Answer 1

Может быть, вы должны использовать event-driven подход, и использовать управляемые событиями ориентированных структур, как twisted (Python) или node.js (JavaScript), например, это основы использовать сокеты домена UNIX, так что ваш потребитель слушает в какой-то порт , и ваш объект генератора событий передает всю информацию потребителю, поэтому вашему потребителю не нужно каждый раз проверять, есть ли что-то в очереди.

Answer 2

Прежде всего, укажите свой код, чтобы определить, что является узким местом в вашей производительности.

Если каждый из ваших потоков часто записывается в вашу базу данных MySQL, проблема может быть дисковым вводом/выводом, и в этом случае вам следует использовать базу данных в памяти и периодически записывать ее на диск.

Если вы обнаружите, что производительность ЦП является ограничивающим фактором, рассмотрите возможность использования модуля multiprocessing вместо модуля threading. Используйте объект multiprocessing.Queue, чтобы выполнить ваши задачи. Также убедитесь, что ваши задачи достаточно велики, чтобы какое-то время ядро ​​занималось, так что гранулярность связи не убивает производительность. Если вы используете threading, то переход на multiprocessing будет самым простым способом продвижения вперед.