Запросы на Python - путаница POST

Question

Я ударился головой о стену ... может ли кто-нибудь помочь мне обернуть мой мозг вокруг получения запроса на работу?

Я пытаюсь выполнить работу на веб-сайте, но сначала мне нужно пройти регистрацию ... Я был автором Google, но до сих пор я не могу разобраться. Я супер n00b для веб-материалов, но имею некоторый опыт работы с python в Maya.

Вот то, что я до сих пор

import requests 
login_url = 'https://example.com/examplelogin 
login_payload = {'j_username':'myusername', 'j_password':'mypassword'} 
with requests.Session() as s: 
    r = s.post(login_url, data = login_payload) 

Вот форма я пытаюсь заполнить:

<form id="login" action="/idp/Authn/UserPassword" method="post"> 
<p class="customError"></p> 
<section> 
<input id="username" class="form-element form-field" name="j_username" type="text" value="" placeholder="email address"></section> 
<section> 
<input id="password" class="form-element form-field" name="j_password" type="password" value="" placeholder="password"></section> 
<button class="form-element form-button" type="submit">Login</button> 
</form> 

для r.status_code я получаю 200 но r.text это только Войти страницу HTML. .. Это меня не вводит и не приводит ...

Что мне не хватает?

Answer 1

Если у сайта нет какого-либо API-интерфейса, возможно, вы не сможете использовать запросы lib для доступа к нему. Вы должны посмотреть на Selenium, что позволит вам использовать FireFox для доступа к странице. Если вам нужна версия без головы, которая часто намного быстрее, вы можете использовать phantomjs.

from selenium.webdriver.firefox.webdriver import WebDriver 


driver = WebDriver() 
driver.get('https://example.com/examplelogin') 

username = driver.find_element_by_id('username') 
password = driver.find_element_by_id('password') 

username.send_keys('MY_USERNAME') 
password.send_keys('MY_PASSWORD') 

submit.click() 

Answer 2

Запросы - это HTTP-библиотека. Вы должны прочитать о HTTP, для чего это необходимо.

HTTP функционирует как протокол запроса-ответа в вычислительной модели клиент-сервер. Например, веб-браузер может быть клиентом, а приложение, работающее на компьютере с веб-сайтом, может быть сервером. Клиент отправляет на сервер сообщение с запросом HTTP. Сервер, который предоставляет такие ресурсы, как HTML-файлы и другой контент, или выполняет другие функции от имени клиента, возвращает ответное сообщение клиенту. Ответ содержит информацию о статусе завершения запроса и может также содержать запрошенный контент в его теле сообщения.

Фактически ваша форма должна делать то же, что и запрос POST. Вы также должны прочитать о forms.

Я думаю, будет хорошей идеей заполнить учебник, чтобы понять, как он работает. There is a good place to start.

Answer 3

Вы хотите отправить запрос на /IDP/AuthN/UserPassword вместо /examplelogin. Если у формы есть атрибут действия, браузер отправит POST на указанный адрес в этом атрибуте.

Но все же, если вы хотите работать с сайтом, лучше использовать Selenium в качестве @ emett-speer, потому что вы, вероятно, не хотите говорить с сайтом вручную (что, если URL будет изменен и т. Д.).