Как автоматизировать просмотр с помощью python?

Question

Предположим, мне нужно выполнить набор процедур на конкретном веб-сайте сказать, заполнить некоторые формы, нажать кнопку отправки, отправить данные обратно на сервер, получить ответ, снова сделать что-то на основе ответа и отправить данные обратно к серверу веб-сайта. Я знаю, что в python есть модуль webbrowser, но я хочу сделать это без вызова любого веб-браузера. У него должен быть чистый сценарий.

Есть ли модуль, доступный в python, который может мне помочь?
спасибо

Answer 1

Вы также можете взглянуть на mechanize. Его предназначено для обработки «программный просмотр веб-страниц с программным обеспечением» (согласно их сайту).

Answer 2

Возможно, вы захотите urllib2. Он может обрабатывать такие вещи, как HTTPS, файлы cookie и аутентификацию. Возможно, вам также понадобится BeautifulSoup, чтобы помочь разобрать HTML-страницы.

Answer 3

Есть много встроенных модулей python, которые помогут с этим. Например, urllib и htmllib.

Проблема будет проще, если вы измените способ приближения к ней. Вы говорите, что хотите «заполнить некоторые формы, нажать кнопку« Отправить », отправить данные на сервер, получить ответ», который звучит как четырехэтапный процесс.

Фактически, вам необходимо отправить данные на веб-сервер и получить ответ.

Это так же просто, как:

>>> import urllib 
>>> params = urllib.urlencode({'spam': 1, 'eggs': 2, 'bacon': 0}) 
>>> f = urllib.urlopen("http://www.musi-cal.com/cgi-bin/query", params) 
>>> print f.read() 

(например, взятые из URLLIB документов).

Что вы делаете с ответом, зависит от того, насколько сложным является HTML и что вы хотите с ним делать. Вы можете избавиться от разбора его с использованием регулярного выражения или двух, или вы можете использовать класс htmllib.HTMLParser, или, может быть, более гибкий парсер более высокого уровня, например Beautiful Soup.

Answer 4

Возможно, вы просматриваете эти слайды из last italian pycon (pdf): Автор перечислил большую часть библиотеки для выполнения очищения и автоматического просмотра в python. так что вы можете взглянуть на него.

Мне очень нравится twill (что уже было предложено), который был разработан одним из авторов носа и специально предназначен для тестирования веб-сайтов.

Answer 5

Internet Explorer специфична, но довольно хорошо:

http://pamie.sourceforge.net/

Преимущество по сравнению с URLLIB/BeautifulSoup является то, что он выполняет Javascript, а так как он использует IE.

Answer 6

селеном будет делать именно то, что вы хотите, и она обрабатывает JavaScript

Answer 7

httplib2 + BeautifulSoup

Используйте светлячок + поджигатель + httpreplay, чтобы увидеть, что Javascript проходит и из браузера с веб-сайта.Использование httplib2 вы существенно можете сделать то же самое через почту и получить

Answer 8

Selenium2 включает WebDriver, который имеет python bindings и позволяет использовать один обезглавленное драйвер HtmlUnit или переключиться на Firefox или хром для графической отладки.

Answer 9

Все ответы стары, я рекомендую, и я большой поклонник requests

с домашней страницы: стандартный модуль urllib2

Пайтона обеспечивает большую часть HTTP возможности, необходимые, но API является полностью сломан. Он был построен для другого времени - и другой сети. Для выполнения простейших задач требуется огромное количество работы (даже переопределение метода) .

Дело не должно быть таким образом. Не в Python.

Answer 10

Я думаю, что лучшие решения является сочетание requests и BeautifulSoup, я просто хотел обновить этот вопрос, поэтому он может быть обновляться.

Answer 11

Selenium http://www.seleniumhq.org/ - лучшее решение для меня. вы можете закодировать его с помощью языка программирования python, java или любого языка программирования, который вам нравится с легкостью. и легкому имитационному преобразованию в программу.

Answer 12

Лучшее решение, которое я нашел (и в настоящее время осуществляет) является: - скрипты в Python с использованием селена WebDriver - PhantomJS обезглавленное браузер (если используется Firefox, вы будете иметь графический интерфейс и будет медленнее)

Answer 13

Не забывайте, что является оберткой вокруг mechanize.

zope.testbrowser предоставляет простой в использовании программируемый веб-браузер с особым вниманием к тестированию.

Answer 14

HTMLUNIT - это пакет, если вы разработчик Java. http://htmlunit.sourceforge.net/apidocs/index.html

Answer 15

Я нашел iMacros Firefox plugin (что бесплатно), чтобы работать очень хорошо.

Он может быть автоматизирован с помощью Python с использованием интерфейсов COM-объектов Windows. Вот пример кода от http://wiki.imacros.net/Python. Она требует Python Windows Extensions:

import win32com.client 
def Hello(): 
    w=win32com.client.Dispatch("imacros") 
    w.iimInit("", 1) 
    w.iimPlay("Demo\\FillForm") 
if __name__=='__main__': 
    Hello()