scrapy новичок: учебник. ошибка при запуске scrapy crawl dmoz

Question

Я установил свои переменные PATH, и я думаю, что я настраиваю все правильно. Но когда я запускаю «Scrapy ползать DMOZ» в моей папке startproject, я получаю эти сообщения об ошибках:

c:\matt\testing\dmoz>scrapy crawl dmoz 
2012-04-24 18:12:56-0400 [scrapy] INFO: Scrapy 0.14.0.2841 started (bot: dmoz) 
2012-04-24 18:12:56-0400 [scrapy] DEBUG: Enabled extensions: LogStats, TelnetConsole,   
CloseSpider, WebService, CoreStats, SpiderState 
2012-04-24 18:12:56-0400 [scrapy] DEBUG: Enabled downloader middlewares:  
HttpAuthMiddleware, DownloadTimeoutMiddleware, UserAgentMiddleware, RetryMiddleware, 
faultHeadersMiddleware, RedirectMiddleware, CookiesMiddleware, 
HttpCompressionMiddleware, ChunkedTransferMiddleware, DownloaderStats 
2012-04-24 18:12:56-0400 [scrapy] DEBUG: Enabled spider middlewares: 
HttpErrorMiddleware, OffsiteMiddleware, RefererMiddleware, UrlLengthMiddleware, DepthMiddware 
2012-04-24 18:12:56-0400 [scrapy] DEBUG: Enabled item pipelines: 
Traceback (most recent call last): 
File "c:\Python27\Scripts\scrapy", line 4, in <module> 
execute() 
File "c:\Python27\lib\site-packages\scrapy-0.14.0.2841-py2.7- 
win32.egg\scrapy\cmdline.py", line 132, in execute 
_run_print_help(parser, _run_command, cmd, args, opts) 
File "c:\Python27\lib\site-packages\scrapy-0.14.0.2841-py2.7- 
win32.egg\scrapy\cmdline.py", line 97, in _run_print_help 
func(*a, **kw) 
File "c:\Python27\lib\site-packages\scrapy-0.14.0.2841-py2.7- 
win32.egg\scrapy\cmdline.py", line 139, in _run_command 
cmd.run(args, opts) 
File "c:\Python27\lib\site-packages\scrapy-0.14.0.2841-py2.7- 
win32.egg\scrapy\commands\crawl.py", line 43, in run 
spider = self.crawler.spiders.create(spname, **opts.spargs) 
File "c:\Python27\lib\site-packages\scrapy-0.14.0.2841-py2.7- 
win32.egg\scrapy\spidermanager.py", line 43, in create 
raise KeyError("Spider not found: %s" % spider_name) 
KeyError: 'Spider not found: dmoz' 

Кто-нибудь знает, что может быть происходит?

Answer 1

попытка в командной строке

C:\Users\Akhtar Wahab> python # any any directory path 

, если он работает

попробовать

scrapy version 

, если его также работает

затем убедитесь, что вы сделали Scrapy проект с

scrapy startproject name 

если выше все благоприятно для вас

то убедитесь, что вы работаете в команде скребка в директории, где scrapy.cfg присутствует.

Answer 2

У меня была эта проблема тоже.

Это потому, что учебное пособие по стрельбе просит вас разместить созданного паука в /dmoz/spiders/, но scrapy смотрит в tutorial/tutorial/spiders.

Сохраните dmoz_spider.py в tutorial/tutorial/spiders и выполните сканирование.