реализация очереди заданий для python

Question

Вы знаете/используете любую распределенную очередь заданий для python? Можете ли вы поделиться ссылками или инструментами

Answer 1

В дополнение к многопроцессорной есть также Celery проект, если вы используете Django.

Answer 2

Возможно, вам захочется посмотреть на очередь многопроцессорности. Включенный в Python 2.6, получить его на PyPI для более ранних версий Python.

Стандартная библиотека документации: http://docs.python.org/library/multiprocessing.html На PyPI: http://pypi.python.org/pypi/multiprocessing

Answer 3

Там также "Bucker" по Сильвнам Hellegouarch, который вы можете найти здесь:

• http://trac.defuze.org/wiki/bucker

Он описывает себя так:

• Bucker система очереди, которая поддерживает несколько хранилищ для очереди (memcached, Amazon SQS на данный момент) и управляются XML-сообщениями, отправленными по TCP-соединениям между клиентом и службой очереди р.

Answer 4

Посмотрите на beanstalkd

Answer 5

redqueue? Он реализован в инфраструктуре python + tornado, говорит о протоколе memcached и может быть постоянным в файлах журналов. В настоящее время он также может вести себя как beanstalkd, путь резервирования/удаления в протоколе memcache.

REDQUEUE

Answer 6

Это год, поздно или что угодно, но это то, что я взломал вместе, чтобы сделать очередь процессов, исполняющих их только X число одновременно. http://github.com/goosemo/job_queue

Answer 7

Pyres - это квест-квест, построенный на питоне. Resque используется Github в качестве очереди сообщений. Оба используют Redis в качестве бэкэнда очереди и предоставляют веб-приложение мониторинга.

http://binarydud.github.com/pyres/intro.html

Answer 8

Также есть Unix «на»

Для получения дополнительной информации: людей в

Answer 9

Если вы считаете, что сельдерей является слишком тяжелым для ваших нужд, то вы можете захотеть взглянуть на простой распределенная очередь задач:

• https://github.com/rojkov/taskqueue
• http://simpletaskqueue.readthedocs.org/