Как правильно проверить функцию генератора Python Spider Spider?

Question

У меня есть Scrapy XMLFeedSpider, и я пытаюсь проверить следующую функцию: parse_node

def parse_node(self, response, selector): 
    date = selector.xpath('pubDate/text()').extract_first() 
    url = selector.xpath('link/text()').extract_first()    
    if date < self.cutoff_date: # TEST VALIDITY OF THE DATE 
     print "Invalid date" 
     self.log("Article %s before crawler start date" % url) 
    else: 
     print "Valid date" 
     yield scrapy.Request(url, self.parse_post) 

Я пытаюсь проверить функцию как для действительной и недействительной даты:

@mock.patch('my_spiders.spiders.myspider.scrapy.Request')    
def test_parse_node(self, scrapy_request):          
    scrapy_request.return_value = mock.MagicMock()        
    self.spider.log = mock.MagicMock()           
    mock_response = mock.MagicMock()            
    mock_selector = mock.MagicMock()            
    date = self.spider.start_date.strftime("%c")         
    url = "https://google.com"             
    mock_selector.xpath.return_value.extract_first = mock.MagicMock(   
     side_effect=[date, url]             
    )                   
    parsed_node = self.spider.parse_node(mock_response, mock_selector)   
    self.assertEqual(tuple(parsed_node)[0], scrapy_request.return_value)   
    self.spider.log.assert_not_called()           
    scrapy_request.assert_called_once_with(url, self.spider.parse_post)   

@mock.patch('my_spiders.spiders.myspider.scrapy.Request')    
def test_parse_node_invalid_date(self, scrapy_request):       
    scrapy_request.return_value = mock.MagicMock()        
    self.spider.log = mock.MagicMock()           
    mock_response = mock.MagicMock()            
    mock_selector = mock.MagicMock()            
    date_object = self.spider.start_date - datetime.timedelta(days=1)   
    date = date_object.strftime("%c")           
    url = "https://google.com"             
    mock_selector.xpath.return_value.extract_first = mock.MagicMock(   
     side_effect=[date, url]             
    )                   

    parsed_node = self.spider.parse_node(mock_response, mock_selector)   
    # TODO: figure out why this doesn't work          
    # self.spider.log.assert_called_once()         
    scrapy_request.assert_not_called() 

Первый тест, test_parse_node работает как ожидалось. Проблема заключается в функции test_parse_node_invalid_date. Если я поставлю отладчик в функцию parse_node, он не будет вызван. Функции print также не вызываются.

Я подозреваю, что это какая-то проблема с оператором yield, но не может понять, что происходит. Почему второй тест не проходит через функцию parse_node, как я ожидал?

Answer 1

Функция генератора питона просто возвращает итератор. Для того, чтобы на самом деле отладки, что итератор, я должен был начать итерационный процесс, вызывая next() метод:

parsed_node = self.spider.parse_node(mock_response, mock_selector).next() 

Я также должен был убедиться, что каждый тест экземпляр нового генератора, так как генератор может повторяться только на один раз ,

Затем я мог бы пройти и отладить/выполнить свой тест по мере необходимости.