Каков максимальный размер start_urls

Question

Я просто делаю проект со скрипом.

я определил мои start_urls следующим образом:

start_urls = [] 
    for i in (1,10): 
      for j in (1,10): 
        start_urls.append(base_url + '/' + str(i) + '/' + str(j)) 

, но по какой-то причине, scrapy выбирает только до 4 ссылки ползти вместо всех 100 ссылок.

в этом примере я только ползать: base_urls/1/1 base_urls/1/10 base_urls/10/1/ base_urls 10/10

почему это? есть ли ограничение на start_urls в scrapy?

Answer 1

Не проблема scrapy.
(1, 10) в Python означает кортеж, который имеет 2 элемента 1 и 10. Вместо этого вы можете использовать range(1, 10).

Кроме того, если вы хотите 100 ссылок, используйте либо range(10) (дает 0, 1 ..., 9) или range(1, 11) (дает 1, 2, ..., 10)