Сессия Dryscrape не может загрузить какой-либо сайт

Question

Я установил dryscrape на pythonanywhere.com. Однако сеанс var не может загрузить какой-либо сайт, почему?

import dryscrape 
# as in demo: http://dryscrape.readthedocs.io/en/latest/usage.html#first-demonstration 
dryscrape.start_xvfb() 

sess = dryscrape.Session() 
sess.visit('https://www.pythonanywhere.com/') 

ошибки Результат:

sess.visit('https://www.pythonanywhere.com/') 
Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
    File "/home/igorsavinkin/.local/lib/python3.5/site-packages/dryscrape/session.py", line 33, in visit 
    return self.driver.visit(self.complete_url(url)) 
    File "/home/igorsavinkin/.local/lib/python3.5/site-packages/webkit_server.py", line 235, in visit 
    self.conn.issue_command("Visit", url) 
    File "/home/igorsavinkin/.local/lib/python3.5/site-packages/webkit_server.py", line 520, in issue_command 
    return self._read_response() 
    File "/home/igorsavinkin/.local/lib/python3.5/site-packages/webkit_server.py", line 530, in _read_response 
    raise InvalidResponseError(msg) 
webkit_server.InvalidResponseError: {"class":"InvalidResponseError","message":"Unable to load URL: https://www.pythonanywhere.com/ because 
of error loading https://www.pythonanywhere.com/: Unknown error"} 

Независимо от того, какой сайт я сделать сеанс посещения из whitelisted вопрос то же самое.

Я прочитал о dryscrape installation prerequisits:

Before installing dryscrape, you need to install some software it depends on:

• Qt, QtWebKit
• lxml
• pip
• xvfb_ (necessary only if no other X server is available)

Таким образом, ни Qt, ни QtWebKit являются одними модулями pythoneverywhere по умолчанию ...

Когда я попытался установить его, в результате ошибки (то же самое с QtWebKit)

$ pip install --user Qt 
Collecting Qt 
    Could not find a version that satisfies the requirement Qt (from versions:) 
No matching distribution found for Qt 

Установочный файл dryscrape, setup.py:

from distutils.core import setup, Command 

setup(name='dryscrape', 
     version='0.9.1', 
     description='a lightweight Javascript-aware, headless web scraping library for Python', 
     author='Niklas Baumstark', 
     author_email='niklas.baumstark@gmail.com', 
     license='MIT', 
     url='https://niklasb.github.com/dryscrape', 
     packages=['dryscrape', 'dryscrape.driver'], 
     requires=['webkit_server', 'lxml'], 
    ) 

Любая помощь заметно ...

Answer 1

PythonAnywhere DEV здесь - к сожалению, dryscrape зависит от WebKit, и WebKit не работает с нашей системой виртуализации. Если вам нужно сделать веб-очистку с помощью браузера, который может обрабатывать JavaScript, вы можете использовать selenium и Firefox - есть more information on our blog. Однако предупреждаем, что у нас есть только версия Firefox 17 - более поздние проблемы имеют те же проблемы, что и WebKit.