Scrapy spider не сохраняет состояние (постоянное состояние)

Привет, у меня есть базовый паук, который запускается для извлечения всех ссылок в данном домене. Я хочу убедиться, что он сохраняет свое состояние, чтобы он мог возобновиться с того места, где он ушел. Я выполнил заданный url http://doc.scrapy.org/en/latest/topics/jobs.html. Но когда я попробую его в первый раз, когда он работает нормально, и я заканчиваю его с помощью Ctrl + C, и когда я пытаюсь возобновить его, обход останавливается на первом URL-адресе.Scrapy spider не сохраняет состояние (постоянное состояние)

Ниже бревно, когда она заканчивается:

2016-08-29 16:51:08 [scrapy] INFO: Dumping Scrapy stats: 
{'downloader/request_bytes': 896, 
'downloader/request_count': 4, 
'downloader/request_method_count/GET': 4, 
'downloader/response_bytes': 35320, 
'downloader/response_count': 4, 
'downloader/response_status_count/200': 4, 
'dupefilter/filtered': 149, 
'finish_reason': 'finished', 
'finish_time': datetime.datetime(2016, 8, 29, 16, 51, 8, 837853), 
'log_count/DEBUG': 28, 
'log_count/INFO': 7, 
'offsite/domains': 22, 
'offsite/filtered': 23, 
'request_depth_max': 1, 
'response_received_count': 4, 
'scheduler/dequeued': 2, 
'scheduler/dequeued/disk': 2, 
'scheduler/enqueued': 2, 
'scheduler/enqueued/disk': 2, 
'start_time': datetime.datetime(2016, 8, 29, 16, 51, 7, 821974)} 
2016-08-29 16:51:08 [scrapy] INFO: Spider closed (finished)

Вот мой паук:

from scrapy.spiders import CrawlSpider, Rule 
from scrapy.linkextractors import LinkExtractor 
from Something.items import SomethingItem 

class maxSpider(CrawlSpider): 
    name = 'something' 
    allowed_domains = ['thecheckeredflag.com', 'inautonews.com'] 
    start_urls = ['http://www.thecheckeredflag.com/', 'http://www.inautonews.com/'] 

    rules = (Rule(LinkExtractor(allow=()), callback='parse_obj', follow=True),) 


    def parse_obj(self,response): 

    for link in LinkExtractor(allow=self.allowed_domains,deny =()).extract_links(response): 
     item = SomethingItem() 
     item['url'] = link.url 
     yield item 
     #print item

Scrapy версия: Scrapy 1.1.2

Python версии: 2,7

Я новичок в scrapy, если мне нужно опубликовать больше информации, пожалуйста, дайте мне знать.

источник

2016-08-29 Ritesh Ksheersagar

Как выглядит ваш терминал/CMD? Используется ли синтаксис, как они предполагают: 'scrapy crawl somespider -s JOBDIR = crawls/somespider-1'? – dblclik

Да, точно так же. он также работает в первый раз правильно, но когда я возобновляю выше, это статистика для резюме –

Можете ли вы вставить журнал, когда ваш скребок начнет работать? Где происходит конфигурация. –

Причина, по которой это произошло, было связано с тем, что процесс паука был убит внезапно.

Паук не закрывался должным образом, когда я нажимал Ctrl + C. Теперь, когда гусеница правильно отключается в первый раз, он также возвращается правильно.

Так что в основном убедитесь, что вы видите, что гусеничный кончик/правильно выключается, чтобы он возобновлялся.

источник

2016-08-30 07:30:25

Scrapy spider не сохраняет состояние (постоянное состояние)

ответ

Смежные вопросы