Сценарий Python для запуска команды оболочки

Question

У меня проблемы. Я хочу запустить команду оболочки в Python в определенном каталоге. На основе кода, который я нашел в Интернете, мне нужны следующие включения:

import os 
import subprocess 
import shlex 

, а затем сам код ниже

os.chdir('/etc/test/') 
cmd = 'scrapy crawl test' 
subprocess.call(shlex.split(cmd)) 

Как это выглядит, как я пытаюсь выполнить команду «SCRAPY проверка обхода "в каталоге/etc/test /. Когда я запускаю это вручную с помощью терминала, кажется, работает хорошо, однако, когда я запускаю его с помощью этого кода Python дает мне ошибку:

INFO Exception occured while scraping: [Errno 2] No such file or directory

кто-нибудь сможет сказать мне, если мой код неверен, или если я возможно, это неправильный путь.

Answer 1

Почему вы используете подпроцесс? Обычной практикой запускать Scrapy из сценария является использование файла скрининга reactor. Взятые из docs:

from twisted.internet import reactor 
from scrapy.crawler import Crawler 
from scrapy.settings import Settings 
from scrapy import log 
from testspiders.spiders.followall import FollowAllSpider 

spider = FollowAllSpider(domain='scrapinghub.com') 
crawler = Crawler(Settings()) 
crawler.configure() 
crawler.crawl(spider) 
crawler.start() 
log.start() 
reactor.run() # the script will block here 

Существует множество примеров там:

• Running scrapy from script (beginner)
• How to run Scrapy from within a Python script
• Running Scrapy from a script - Hangs
• Scrapy crawl from script always blocks script execution after scraping

Надеюсь, что это помогает.