2017-02-22 11 views
-2

Я пытаюсь использовать запросы Python и BeautifulSoup, чтобы попытаться написать веб-скребок. Я попытался войти на этот сайт, используя несколько решений в Интернете, однако не смог этого сделать.Не удалось войти на сайт с помощью Python

Одна из причин этого заключается в том, что элементы формы не используют обычную схему. Ниже приведен фрагмент кода веб-сайта. Любая помощь будет оценена по достоинству.

This image contains the code of the form element

Edit 1: Я довольно нов к этому и, следовательно, застрял на довольно элементарной стадии. Я попытался изменить ключевые значения моих учетных данных и, похоже, не помогает.

My code as of now

+0

Возможно, покажите, что вы пробовали? Может быть, не со скриншотом кода? –

+0

войдите и ПОЛУЧИТЕ COOKIE, сгенерировав и ИСПОЛЬЗУЙТЕ IT для другого вызова сайта – ZiTAL

+0

В этой форме есть скрытые поля, например. 'authenticity_token', который вам, вероятно, также необходимо отправить – mata

ответ

-1

вы можете иметь некоторые причины, почему это может работать. Ваш код будет также оценен. Первая причина, почему ее «не может работать, кто приходит на ум, это потому, что вам нужно эмулировать настоящий браузер, например Google Chrome или Firefox.

Фактически, у вас должен быть агент пользователя. По умолчанию запрос пользовательского агента python не похож на true user agent.

После того, как вам нужно поймать файл cookie сайта weeb и его имя для входа.

У вас есть много решений для этого, я могу объяснить два, когда у меня есть использование: - Selenium генерировать поведение браузера. - Используйте запрос, но используйте все параметры, такие как браузер: сгенерируйте пользовательский агент, а также используйте cookie (сервер должен думать, что вы настоящий пользователь).

+0

Не могли бы вы указать мне на соответствующие ссылки, чтобы научиться делать то, что вы только что упоминали? –

+0

У вас есть 2 ссылки в сообщении предварительного просмотра (нажмите «True user agent», например, пользовательского агента, или нажмите «Selenium» для документа этой библиотеки). Если вы хотите получить полное объяснение [запрос] (http://docs.python-requests.org/en/master/user/advanced/) (щелкните по запросу по ссылке) и с лучшим английским, чем мой: D – Buky

-1

Dayle, вы должны опубликовать свой подход к вопросу.

Я сделал искателю этим путем,

response = urlopen(page_url) 
    if 'text/html' in response.getheader('Content-Type'): 
     print("hello 123") 
     html_bytes = response.read() 
     html_string = html_bytes.decode("utf-8") 

и передал эту html_string в BeautifulSoup.

soup = BeautifulSoup(html_string, 'html.parser') 
html_string = soup.prettify() 

Я думаю, что это делает его намного проще.

Смежные вопросы