Каковы преимущества использования scrapyd?

Question

SCRAPY док говорит, что:

Scrapy поставляется с встроенной службой, называемым «Scrapyd», что позволяет развертывать свои проекты и контролировать их паук с помощью веб-сервиса в формате JSON (ака загрузить.).

Есть ли какие-то преимущества в применении к использованию scrapyd?

Answer 1

Scrapyd позволяет запускать scrapy на другой машине, чем тот, который вы используете с помощью удобного веб-API, что означает, что вы можете просто использовать curl или даже веб-браузер для загрузки новых версий проекта и запуска их. В противном случае, если вы хотите запустить Scrapy в облаке где-то, вам нужно будет scp скопировать новый код паука, а затем войти в систему с ssh и создать свою scrapy crawl myspider.

Scrapyd также будет управлять процессами для вас, если вы хотите запустить много пауков параллельно; но если у вас есть Scrapy на вашем локальном компьютере и у вас есть доступ к командной строке или способ запустить пауков и просто хотите запустить один паук за раз, то вам лучше запустить паук вручную.

Если вы разрабатываете пауков, то, конечно же, вы не хотите использовать scrapyd для быстрой компиляции/тестирования итераций, поскольку он просто добавляет слой сложности.