Настройки динамической резки

У меня есть один проект Scrapy с несколькими пауками. Этот проект размещен на экземпляре scrapyd. Я хотел бы иметь возможность динамически изменять настройки в файле settings.py проектов (например, DOWNLOADER_MIDDLEWARES).Настройки динамической резки

Можно ли изменить эти параметры во время отправки запроса экземпляру scrapyd. Обратите внимание: я не хочу создавать несколько проектов, так как это приведет к дублированию общего кода для всех проектов.

Благодаря

источник

2014-09-23 trajan

Вы можете передать параметры scrapyd и изменять настройки, используя -d аргумента

curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider -d setting=DOWNLOAD_DELAY=2 -d arg1=val1

источник

2014-09-23 07:55:37 dataisbeautiful

Как о запуске Scrapy с другим файлом настроек, как Джанго позволяют нам? – sergiuz

Спасибо, но как бы я установил настройку стиля словаря? Я попытался следующий 'локон HTTP: // локальный: 6800/schedule.json -d проект = GenericCrawl -d паук = Generic -d«настройка = ITEM_PIPELINES = { 'GenericCrawl.pipelines.DefaultValuesPipeline': 299 , 'GenericCrawl.pipelines.MySQL': 300} " ' , но я получаю следующую ошибку: '[Launcher, 4746/stderr] элемент последовательности обновления словаря # 0 имеет длину 1; 2 требуется' – trajan

Я не пробовал, но то, что я бы, вероятно, сделал, это установить переменную, которая проверяется в каждом промежуточном программном обеспечении, а затем передать это на scrapyd. Не так элегантно, но это сработает. – dataisbeautiful

Настройки динамической резки

ответ

Смежные вопросы