Я использую Scrapy для сканирования некоторых веб-сайтов. Я запускал код вручную, и он работал хорошо (пришел в модуль конвейера и ввел данные в базу данных). Однако, когда я хочу , запустите мой код регулярно, используя crontab в Ubuntu, возникла проблема. Он не попал в модуль pileline (или функцию, которую я написал в конвейере). Что я могу сделать? Вот моя часть кода:funtion funtion не может вступить в силу в Scrapy при использовании crontab
**pipelines.py**
class PlatformnewsPipeline(object)
def process_item(self, item, spider):
log.msg('~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~')
Это не pirint «~~~~~~~~~~~~~~~~» на выходе в кронтаб, а он сделал в ручном режиме. Последующее моя projct Settins:
DEFAULT_ITEM_CLASS = 'platformNews.items.PlatformnewsItem'
ITEM_PIPELINES = {
'platformNews.pipelines.PlatformnewsPipeline': 300
}
crontab :
33 9,12,18 * * * python get_news.py >> log.log 2>&1
Не могли бы вы предоставить вам свой вход в crontab? – dataisbeautiful
33 9,12,18 * * * python get_news.py >> log.log 2> & 1 – Alex2Liang
и что в log.log? – dataisbeautiful