Как регистрировать параметры Scrapy?

Question

Scrapy получает свои настройки из нескольких источников - параметры среды, файл конфигурации, программные настройки - поэтому я хочу записать эффективные настройки, чтобы узнать, что у них есть.

Как это сделать?

Я бы просто перебирал ключи и значения в объекте «Параметры Scrapy», но он не раскрывает полный интерфейс dict, как можно было бы ожидать.

Answer 1

Вы можете перебирать доступные атрибуты:

for name in crawler.settings.attributes: 
    value = crawler.settings.get(name) 
    print name, '=', repr(value) 

Выход:

CLOSESPIDER_ITEMCOUNT = 0 
USER_AGENT = u'Scrapy/1.0.3 (+http://scrapy.org)' 
HTTPCACHE_DIR = 'httpcache' 
MEMUSAGE_REPORT = False 
...