2016-02-16 4 views
1

, когда я использую Селен и Scrapy к информации паука, разработанный dymanic JS.I использовать webdriver.PhantomJS .Но я нашел такую ​​информацию отладки в CMD окнаСелен Webdirver

selenium.webdriver.remote.remote_connection] DEBUG: POST http://127.0.0.1:57000/wd/hub/session/26c385f0-d448-11e5-80bb-7575f0e930be/url

их будет много, и они замедлят мой паук. Как я могу отключить его. Я хочу только ускорить паука.

ответ

0

Это каротаж селена и сам журнал не замедляет работу. Необходимость запускать и автоматизировать настоящий браузер (даже без головы) - это то, что замедляет процесс веб-очистки.

Если вы хотите, чтобы не видеть INFO и DEBUG сообщения, изменять уровень ведения журнала ПРЕДУПРЕЖДЕНИЕ:

import logging 

selenium_logger = logging.getLogger('selenium.webdriver.remote.remote_connection') 
selenium_logger.setLevel(logging.WARNING) 

Положите это в settings.py вашего проекта Scrapy.

+0

После того, как я изменил уровень ведения журнала. Работа будет работать. Я также не могу ускорить работу паука. В вашем слове операция не может быть отключена ???????? – user3065606