В Google App Engine, для задачи, как сканирование некоторых RSS-каналов и добавления новых записей из канала в хранилище каждые 10-15 секунд, я должен использовать Cron Jobs, Task Queue или Deferred Tasks? Я действительно смущен.Работы Cron, Очередь задач или отложенные задачи?
3
A
ответ
0
Вызовите работу cron каждые 1 минуту, чтобы получить RSS
и спящий на 15 секунд четыре раза. Вы можете блокировать, чтобы предотвратить перекрытие (хотя вставка базы данных обеспечивает некоторую меру контроля параллелизма).
Python, как псевдо-код:
if cant_get_lock:
exit
else:
for i in (1,2,3,4):
get RSS
sleep 15 seconds
0
- Я думаю, если это происходит каждые 15 секунд (не пропуская), чем я бы хрон рабочих мест , потому что проще всего реализации. Но если вам нужно отменить задачу, то вы должны использовать задачу queue.
- BTW вы должны использовать PubSubHubbub (hubbub) до получать обновления для лент в в реальном времени, если я вас понимаю правильно.
Смежные вопросы
- 1. Система мониторинга работы cron и автоматизированных задач?
- 2. Асинхронная очередь задач или нет?
- 3. Необъяснимые отложенные задачи
- 4. Google App Engine - Использование задачи Очередь или Отложенная Работа
- 5. C++ многопоточная очередь задач для запланированных задач
- 6. NewRelic - мониторинг задач cron
- 7. Отложенные задачи распараллеливаются в движке Google?
- 8. Networkx как очередь задач?
- 9. Twisted/How Отложенные работы
- 10. Независимая очередь задач MonoDroid?
- 11. Автоматическое изменение времени работы Cron
- 12. Запуск задач Cron на Heroku
- 13. Работы Cron с болтом
- 14. Отложенные задачи Async с jQuery
- 15. delayed_job vs cron для долгосрочных задач
- 16. Любая локальная очередь задач (может быть, очередь диска или очередь памяти?) Для производителя и рабочего (python)?
- 17. Выполняет ли cron задание основного процесса или nodejs создаст рабочего для выполнения задачи cron
- 18. Выполнение задачи и ожидание завершения задач: Java
- 19. Рекурсивная очередь задач
- 20. CRON: Планирование задач
- 21. Appengine Task Queue Хранимое количество задач> 0, но задачи не входят в очередь задач
- 22. Задачи, запланированные Django - альтернатива Cron или независимому демону
- 23. Развертывание задачи - как навалом добавить задачи в очередь - более 5
- 24. Как получить отложенные и выполняемые задачи Celery с их аргументами?
- 25. Справедливая очередь задач для Java EE
- 26. Laravel: Выполнять задачи задания cron одновременно
- 27. Задачи очереди задач GAE блокируются
- 28. Задачи Wordpress cron
- 29. java: объединенная многопоточная/однопоточная очередь задач
- 30. Проблема с appengine отложенные задачи, выполнение бросает неизвестную ошибку
Зачем вам так часто вставлять данные? – 2010-12-03 21:19:10
@ Адам Матан: Что не так с этим? – 2010-12-03 21:21:10
Ничего страшного, просто любопытно - довольно редко читать фид `RSS` так часто, и он может заблокировать вас, как будто вы DDOS-канал. – 2010-12-03 21:27:52