Захват ошибок wget с python

Question

У меня есть сценарий, который использует python и wget для загрузки веб-сайта, а затем выполняет некоторые задачи с файлами. Я использую строку os.system("wget -m -w 2 -P " directory) для вызова wget, рекурсивную загрузку каждой страницы в домене. Это прекрасно работает, но теперь стало необходимо контролировать wget для ошибок при загрузке файла, когда он следует за ссылкой (ошибка Think 404, пытающаяся получить доступ к странице).

Это не вопрос получения кода выхода, а просмотр каждого «блока» вывода, который снабжает wget.

Есть ли простой способ просмотреть вывод wget с помощью Python без необходимости перенаправлять его в файл, а затем искать файл для идентифицирующей строки текста?

Answer 1

Из того, что я могу сказать, os.system возвращает код выхода команды.

Таким образом, следующее должно работать:

code = os.system("wget -m -w 2 -P {}".format(directory)} 

Answer 2

Если вы хотите код выхода, то это то, что os.system() возвращает (предупреждение: это стандартный процесс линукс код выхода, так 0 означает «нет ошибок» и что угодно иначе ошибка).

Если вы хотите получить более подробную информацию, вам нужно будет использовать модуль подпроцесса (https://docs.python.org/2/library/subprocess.html#module-subprocess), чтобы передать stderr подпроцесса обратно в ваш код Python. Или вы можете использовать Python вместо wget - существует довольно много сканеров на основе Python.