Как сохранить выход экрана Scrapy в файл в Linux

Question

Я часто использую

self.logger.info('Parse function called on %s', response.url) 

для отладки проекта Scrapy. Однако, когда есть много обходных элементов, эти данные журнала будут встроены в много полезной информации.

То, что я хочу, чтобы сохранить вывод на экран в файл, так что я могу сделать поиск, сделать редактирование текста и т.д.

Я пробовал:

scrapy crawl xxx_spider >> my_log 

, но он не работает

Answer 1

Кажется, что ваш скрипт может писать что-то другое, кроме stdout, например stderr. Попробуйте:

 $ scrapy crawl xxx_spider &> test_log 

Если это действительно написание сценария вывода в стандартный поток ошибок, вы можете направить STDERR на стандартный вывод в будущем, и, возможно, захотите рассмотреть вопрос об изменении местоположения, к которому текстовый регистратор выдает.