Почему QtWebkit для python не загружает большинство веб-страниц?

Question

Я пытаюсь использовать Pyside для рендеринга HTML-кода, созданного с помощью веб-страницы, а затем использовать этот html для webscraping. Я начал использовать this quick example, но результаты очень несовместимы.

Проблема в том, что некоторые страницы работают отлично, но другие весят бесконечно. И я не говорю о том, чтобы уйти через несколько секунд, я позволил своему сценарию работать в течение нескольких часов в разное время, и никаких успехов не предпринимается.

Мой текущий код выглядит следующим образом:

import sys 
from PySide.QtCore import * 
from PySide.QtGui import * 
from PySide.QtWebKit import * 

class Render(QWebPage): 
    def __init__(self, url): 
     self.app = QApplication(sys.argv) 
     QWebPage.__init__(self) 
     self.loadFinished[bool].connect(self.end) 
     self.mainFrame().load(url) 

     self.app.exec_() 

    def end(self, result): 
     print 'end' 
     self.finalFrame = self.mainFrame() 
     self.app.quit() 

r = Render('http://pyside.github.io/docs/pyside/PySide/QtWebKit/index.html') 
print r.finalFrame.toHtml().encode('ascii', 'ignore') 
print 'done' 

Эта страница работает, как и страницы, указанные в this answer, но большинство других ('https://www.google.ca/', 'https://webscraping.com') нет.

Как загрузить эти страницы?

Answer 1

Проблема связана с SSL. Я до сих пор не уверен, что именно эта проблема была, но она была зафиксирована:

1. деинсталлировать версию Anaconda (1.2.1) из PySide и установить его с пип (1.2.4). Похоже, что сборка Anaconda принципиально нарушена, поскольку различные атрибуты классов не существуют, когда они должны, и есть неразрешимые круговые зависимости.

2. downloading openSSL (lite) и размещение 2 dlls (ssleay.dll и libeay.dll) в каталоге, в котором запущена программа, и в среде/Library/bin. Либо один из них не работал. Кредит для этой части составляет this question.