Scrapy shell не работает

Я новичок в scrapy, тогда я хочу попробовать scrapy shell для отладки и изучения, но странно, что команда оболочки вообще не работает.Scrapy shell не работает

кажется, что сайт был успешно сканирован, но ничего не было напечатано больше. Программа ожидает рассмотрения, кажется мертвой, я должен использовать ctrl-c, чтобы закончить ее.

Вы можете помочь выяснить, что не так?

Я использую Anaconda + Scrapy 1.0.3

$ ping 135.251.157.2 

Pinging 135.251.157.2 with 32 bytes of data: 
Reply from 135.251.157.2: bytes=32 time=13ms TTL=56 
Reply from 135.251.157.2: bytes=32 time=14ms TTL=56 
Reply from 135.251.157.2: bytes=32 time=14ms TTL=56 
Reply from 135.251.157.2: bytes=32 time=14ms TTL=56 

Ping statistics for 135.251.157.2: 
    Packets: Sent = 4, Received = 4, Lost = 0 (0% loss), 
Approximate round trip times in milli-seconds: 
    Minimum = 13ms, Maximum = 14ms, Average = 13ms 


$ scrapy shell "http://135.251.157.2/" 
2016-01-28 21:35:18 [scrapy] INFO: Scrapy 1.0.3 started (bot: demo) 
2016-01-28 21:35:18 [scrapy] INFO: Optional features available: ssl, http11, boto 
2016-01-28 21:35:18 [scrapy] INFO: Overridden settings: {'NEWSPIDER_MODULE': 'demo.spiders', 'SPIDER_MODULES': ['demo.spiders'], 'LOGSTATS_INTERVAL': 0, 'BOT_NAME': 'demo'} 
2016-01-28 21:35:18 [scrapy] INFO: Enabled extensions: CloseSpider, TelnetConsole, CoreStats, SpiderState 
2016-01-28 21:35:19 [scrapy] INFO: Enabled downloader middlewares: HttpAuthMiddleware, DownloadTimeoutMiddleware, UserAgentMiddleware, RetryMiddleware, DefaultHeadersMiddleware, MetaRefreshMiddleware, HttpCompressionMiddleware, RedirectMiddleware, CookiesMiddleware, HttpProxyMiddleware, ChunkedTransferMiddleware, DownloaderStats 
2016-01-28 21:35:19 [scrapy] INFO: Enabled spider middlewares: HttpErrorMiddleware, OffsiteMiddleware, RefererMiddleware, UrlLengthMiddleware, DepthMiddleware 
2016-01-28 21:35:19 [scrapy] INFO: Enabled item pipelines: 
2016-01-28 21:35:19 [scrapy] DEBUG: Telnet console listening on 127.0.0.1:6023 
2016-01-28 21:35:19 [scrapy] INFO: Spider opened 
2016-01-28 21:35:24 [scrapy] DEBUG: Crawled (200) <GET http://135.251.157.2/> (referer: None) 
2016-01-28 21:35:24 [root] DEBUG: Using default logger 
2016-01-28 21:35:24 [root] DEBUG: Using default logger 
ctrl-c 

$

источник

2016-01-28 Solaris_9

Это оболочка, вы должны вводить команды. См. Учебник здесь http://doc.scrapy.org/en/latest/topics/shell.html – Steve

@Steve, Да, я следил за этим учебным пособием, но в моем суде нет выхода этих [s] ..., ничего не произойдет, когда я попытаюсь ввести команду «response», это странная точка. –

'scrapy shell' - это интерактивная оболочка, используемая для отладки и изучения. Хотя я не уверен, что вы можете использовать «scrapy shell» в iPython, вы не должны использовать «scrapy shell» в iPython, так как это не то, для чего он предназначен. Я рекомендую сначала запустить «scrapy shell» над терминалом, чтобы понять его первоначальную цель. –

Я хотел бы закрыть эту тему, так как я узнаю, что коренная причина связана с другим терминалом. Когда я использую Git Bash, это не сработает, но если я использую Anaconda Prompt, он работает достаточно хорошо.

[Anaconda2] D:\SVN\tools\Spider\demo>scrapy shell "http://135.251.157.2/" 
2016-01-29 13:40:33 [scrapy] INFO: Scrapy 1.0.3 started (bot: demo) 
2016-01-29 13:40:33 [scrapy] INFO: Optional features available: ssl, http11, boto 
2016-01-29 13:40:33 [scrapy] INFO: Overridden settings: {'NEWSPIDER_MODULE': 'demo.spiders', 'SPIDER_MODULES': ['demo.spiders'], 'LOGSTATS_INTERVAL': 0, 'BOT_NAME': 'demo'} 
2016-01-29 13:40:33 [scrapy] INFO: Enabled extensions: CloseSpider, TelnetConsole, CoreStats, SpiderState 
2016-01-29 13:40:33 [scrapy] INFO: Enabled downloader middlewares: HttpAuthMiddleware, DownloadTimeoutMiddleware, UserAgentMiddleware, RetryMiddleware, DefaultHeadersMiddleware, MetaRefreshMiddleware, HttpCompressionMiddleware, RedirectMiddleware, CookiesMiddleware, HttpProxyMiddleware, ChunkedTrans 
ferMiddleware, DownloaderStats 
2016-01-29 13:40:33 [scrapy] INFO: Enabled spider middlewares: HttpErrorMiddleware, OffsiteMiddleware, RefererMiddleware, UrlLengthMiddleware, DepthMiddleware 
2016-01-29 13:40:33 [scrapy] INFO: Enabled item pipelines: 
2016-01-29 13:40:33 [scrapy] DEBUG: Telnet console listening on 127.0.0.1:6023 
2016-01-29 13:40:33 [scrapy] INFO: Spider opened 
2016-01-29 13:40:41 [scrapy] DEBUG: Crawled (200) <GET http://135.251.157.2/> (referer: None) 
[s] Available Scrapy objects: 
[s] crawler <scrapy.crawler.Crawler object at 0x0136B290> 
[s] item  {} 
[s] request <GET http://135.251.157.2/> 
[s] response <200 http://135.251.157.2/> 
[s] settings <scrapy.settings.Settings object at 0x034204B0> 
[s] spider  <DefaultSpider 'default' at 0x3e3c6d0> 
[s] Useful shortcuts: 
[s] shelp()   Shell help (print this help) 
[s] fetch(req_or_url) Fetch request (or URL) and update local objects 
[s] view(response) View response in a browser 
2016-01-29 13:40:41 [root] DEBUG: Using default logger 
2016-01-29 13:40:41 [root] DEBUG: Using default logger 

In [1]:

источник

2016-01-29 05:43:50

Scrapy shell не работает

ответ

Смежные вопросы