Scrapy - Manual Login

Question

Я строю очень простой скребок, используя scrapy, чтобы очистить определенный элемент от набора URL-адресов. Тем не менее, я должен быть зарегистрирован на веб-сайте, чтобы сделать это, и я не могу получить часть входа в мой скребок.

Можно ли войти на сайт вручную, а затем позволить моему скребку выполнить задачу очистки?

Answer 1

Я понимаю, что вы просите, но вы просто не можете «вручную войти» с помощью scrapy, вам нужно наложить на него куки.

Лучший способом я вижу, чтобы сделать это с помощью Selenium для входа и дайте ему создать печенье, чтобы кормить Scrapy вот как:

def get_cookies(self): 
    driver = webdriver.Firefox() 
    base_url = "http://www.example.com/login" 
    driver.get(base_url) 
    #Code to login 
    driver.find_element_by_name("username").send_keys("my_username") 
    driver.find_element_by_name("password").send_keys("my_password") 
    driver.find_element_by_name("submit").click() 
    #get the cookies created 
    cookies = driver.get_cookies() 
    driver.close() 
    return cookies 

def parse(self, response): 
    return Request(url="http://my_domain.com/", 
    cookies=self.get_cookies(), 
    callback=self.login) 

def login(self, response): 
    #You'll have the cookies here 

кода может потребоваться некоторые настройки здесь и там, но это общее идея