Scrapy переполнение стека из запросов

Question

я следующий в то время как цикл лома страниц

def after_login(self, response): 
    i=100000 
    while (i<2000000): 
     yield scrapy.Request("https://www.example.com/foobar.php?nr="+str(i),callback=self.another_login) 
     i+=1 

Проблема заключается в том, что процесс погибает из-за переполнения стека. Есть ли способ сообщить циклу while помещать в очередь 1000 запросов, и когда это делается для очереди еще 1000?

Answer 1

Вы должны поиграть с настройками Scrapy. Например, попробуйте уменьшить значение CONCURRENT_REQUESTS, добавив DOWNLOAD_DELAY.

Если это не поможет, заглянуть в debugging the memory usage, смотрите также:

• Debugging memory leaks