Использовать уже открытую веб-страницу (с селеном) для beautifulsoup?

Question

У меня есть веб-страница, открытая и зарегистрированная с использованием кода webdriver. Использование webdriver для этого, потому что на странице требуется логин и различные другие действия, прежде чем я настроюсь на очистку.

Целью является очистка данных с этой открытой страницы. Нужно найти ссылки и открыть их, поэтому будет много сочетаний между selenium webdriver и BeautifulSoup.

Я посмотрел на документацию для BS4 и BeautifulSoup(open("ccc.html")) выдает ошибку

soup = bs4.BeautifulSoup(open("https://m/search.mp?ss=Pr+Dn+Ts"))

OSError: [Errno 22] Invalid argument: ' https://m/search.mp?ss=Pr+Dn+Ts '

Я полагаю, это потому, что его не .html?

Answer 1

Вы пытаетесь открыть страницу по веб-адресу. open() не будет делать этого, используйте urlopen():

from urllib.request import urlopen # Python 3 
# from urllib2 import urlopen # Python 2 

url = "your target url here" 
soup = bs4.BeautifulSoup(urlopen(url), "html.parser") 

Или использовать HTTP для человека - requests library:

import requests 

response = requests.get(url) 
soup = bs4.BeautifulSoup(response.content, "html.parser") 

Также обратите внимание, что настоятельно рекомендуется specify a parser explicitly - я использовал html.parser в этом В случае наличия других парсеров.

---

I want to use the exact same page(same instance)

Обычный способ сделать это, чтобы получить driver.page_source и передать его в BeautifulSoup для дальнейшего разбора:

from bs4 import BeautifulSoup 
from selenium import webdriver 

driver = webdriver.Firefox() 
driver.get(url) 

# wait for page to load.. 

source = driver.page_source 
driver.quit() # remove this line to leave the browser open 

soup = BeautifulSoup(source, "html.parser")