Scrapy with selenium, webdriver не удалось создать экземпляр

Question

Я пытаюсь использовать selenium/phantomjs с помощью scrapy, и я пронизан ошибками. Возьмем, например, следующий фрагмент кода:

def parse(self, resposne): 

    while True: 
     try: 
      driver = webdriver.PhantomJS() 
      # do some stuff 
      driver.quit() 
      break 
     except (WebDriverException, TimeoutException): 
      try: 
       driver.quit() 
      except UnboundLocalError: 
       print "Driver failed to instantiate" 
      time.sleep(3) 
      continue 

Много раз водитель, кажется, ему не удалось создать экземпляр (так driver является несвязанным, следовательно, исключение), и я получаю аннотацию (наряду с печать сообщение я вставил)

Exception AttributeError: "'Service' object has no attribute 'process'" in <bound method Service.__del__ of <selenium.webdriver.phantomjs.service.Service object at 0x7fbb28dc17d0>> ignored 

погуглить вокруг, кажется, все предполагает обновление phantomjs, которые у меня есть (1.9.8 построенные из источника). Кто-нибудь знает, что еще может вызвать эту проблему и подходящий диагноз?

Answer 1

Причина такого поведения заключается в том, как реализован драйвер Service class драйвера PhantomJS.

Существует __del__ метода определил, что вызывает self.stop() метода:

def __del__(self): 
    # subprocess.Popen doesn't send signal on __del__; 
    # we have to try to stop the launched process. 
    self.stop() 

И self.stop() берет на себя экземпляр службы еще жив пытаемся получить доступ к его атрибуты:

def stop(self): 
    """ 
    Cleans up the process 
    """ 
    if self._log: 
     self._log.close() 
     self._log = None 
    #If its dead dont worry 
    if self.process is None: 
     return 

    ... 

точно такая же проблема идеально подходит для этой резьбы:

• Python attributeError on __del__

---

Что вы должны сделать, это молча игнорировать AttributeError происходит во время выхода из экземпляра драйвера:

try: 
    driver.quit() 
except AttributeError: 
    pass 

Проблема была введена этим revision. Это означает, что понижение до 2.40.0 также поможет.

Answer 2

У меня была эта проблема, потому что phantomjs не был доступен из скрипта (не был в пути). Вы можете проверить это, запустив phantomjs в консоли.

Answer 3

Селен версия 2.44.0 на PyPI необходим следующий патч в Service.__init__ из selenium.webdriver.common.phantomjs.service

self.process = None 

Я думал о представлении патч, но это уже существует в most recent version на Google Code.