Настройка входа с запросами python для finally.com

Question

Я пытаюсь написать поисковик резюме для www.indeed.com (к сожалению, нет API для резюме). В частности, мне нужно предоставить данные для входа (чтобы получить имена из резюме). Войти страница здесь:

https://secure.indeed.com/account/login

Я следовал руководство здесь: https://kazuar.github.io/scraping-tutorial/

Мой код до сих пор:

import requests 
from lxml import html 
session_requests = requests.session() 

login_url = "https://secure.indeed.com/account/login" 
result = session_requests.get(login_url) 

tree = html.fromstring(result.text) 

payload={ 
    '_email': 'my@email.com', 
    '_password': 'mypassword' 
} 

result = session_requests.post(
    login_url, 
    data = payload, 
    headers = dict(referer=login_url) 
) 

Это, кажется, не работает достаточно хорошо. Во-первых, я думаю, что мне не хватает идентификационных токенов. После проверки страницы входа, я думаю, что это может быть атрибут «серфток», но я не совсем уверен. Возможно ли это только с помощью модуля запросов, или мне понадобится Selenium или mechanize, чтобы сделать эту работу?

Answer 1

Вам не хватает нескольких полей данных.

Это работало для меня

import requests 
data = { 
     'action':'Login', 
     '__email':'Your Email', 
     '__password':'Your password', 
     'remember':'1', 
     'hl':'en', 
     'continue':'/account/view?hl=en', 
     } 

response = requests.post('https://secure.indeed.com/account/login',data=data) 
response[200]