Пул теплых, многоразовых процессов на Python

Question

Мое приложение неоднократно опроса API и порождает процессы для анализа любых новых данных, полученных в результате этих вызовов, условно создавая запрос API на основе этих данных. Скорость этого времени обработки критическая.

Больших узкое места, кажется, связан с настройкой фактическим порождали сами процессы - несколько импорта модулей и обычный код создания экземпляра, которые занимают до 0,05 секунды на посредственные настройках Amazon ^†. Похоже, было бы полезно иметь пакет процессов с уже выполненным кодом импорта/инициализации ^††, ожидая результатов обработки. Каков наилучший способ создания/общения с пулом (10-20?) теплых, многоразовых и чрезвычайно легких процессов в Python?

† - да, я знаю, что помощь в решении проблемы поможет, и я тоже это сделаю.

†† - да, я знаю, делать меньше будет помогать, и я работаю над сделать код, как обтекаемый и минимально возможным

Answer 1

Ну, вы для кривой обучения здесь, но multiprocessing.Pool() будет создайте пул из любого количества процессов, которые вы указали. Используйте аргумент initializer=, чтобы указать функцию, которую каждый процесс будет запускать в начале. Затем есть несколько методов, которые вы можете использовать для отправки рабочих элементов в процессы в пуле - прочитайте документы, поиграйте с ним и задайте вопросы, если вы застряли.

Осторожно: «чрезвычайно легкие процессы» невозможны. По определению процессы «тяжелые». «Насколько тяжело» зависит от вашей операционной системы и не имеет ничего общего с языком программирования, который вы используете. Если вы ищете легкий вес, вы ищете темы.