Держите scrapyd бегущий

Question

У меня есть scrapy и scrapyd, установленный на машине debian. Я вхожу на этот сервер, используя ssh-tunnel. Затем я начинаю scrapyd идя: scrapyd

Scrapyd запускается нормально, а затем я открываю другой SSH-туннель к серверу и планировать свой паук: завитка локального хост: 6800/schedule.json -d проект = MyProject - d spider = myspider

Паук работает хорошо, и все в порядке.

Проблема в том, что scrapyd перестает работать, когда я выхожу из сеанса, где я запускал scrapyd. Это мешает мне использовать cron для шпионов пауков с scrapyd, поскольку scrapyd не работает, когда запущен cronjob.

Мой простой вопрос: как мне сохранить scrapyd, чтобы он не закрывался, когда я вышел из сеанса ssh.

Answer 1

запустить его в сессии экрана:

$ screen 
$ scrapyd 

# hit ctrl-a, then d to detach from that screen 

$ screen -r # to re-attach to your scrapyd process 

Answer 2

Как насчет? $ sudo service scrapyd start

Answer 3

Вы можете рассмотреть возможность запуска scrapyd с помощью supervisor.

И есть хороший сценарий .conf доступен как суть здесь: https://github.com/JallyHe/scrapyd/blob/master/supervisord.conf