Python with Twisted, или Node.js

Question

Я работаю над проектом, который связан с I/O.

У меня есть 3 зависимые задачи:
1. выскабливание сайт + добывающие основное содержание (удаление комментариев/объявления и т.д.)
2. как только 1 завершает он отправляет данные в summerizer
3. как как только 2 завершает, он вызывает вид и отображает страницу

Я знаю Python и Django на данный момент. Какие технологии вы рекомендуете мне для этого проекта? (Я знаю, что Python + Twisted или node.js идеально подходят для проектов, связанных с I/O).

Answer 1

Если вы уже используете Python, вам, вероятно, лучше придерживаться библиотеки Python, особенно когда есть так много мощных асинхронных библиотек Python. Node.js в порядке, но переключение между Python и Javascript не нужно.

В любом случае, ваш вопрос очень расплывчатый. Вы можете абсолютно использовать Twisted, и он, вероятно, будет делать то, что вы хотите, просто, если вы достаточно хорошо изучите API. Другие асинхронные структуры включают gevent и веб-сервер под названием Tornado.

Существует также Celery, который используется специально для асинхронной обработки очередей. Это может быть или не быть полезным для вас.

Я рекомендую вам провести много исследований, посмотреть документацию по вышеуказанным библиотекам и решить, что лучше всего подходит вашему проекту. Если у вас есть более конкретные вопросы, вы можете запросить соответствующие каналы IRC в библиотеке или задать здесь более ясный вопрос.

Answer 2

Я наконец-то использую django-socketio.

https://github.com/stephenmcd/django-socketio

В случае WebSockets не поддерживается, socketio падает обратно на долгий опрос.