Python: web scraping pages with js

Question

Я пытаюсь очистить LinkedIn, используя селен. Вот страница, например: https://www.linkedin.com/vsearch/p?firstName=mark

Я могу видеть в HTML, что результаты поиска находятся в:

<div id='results-col'> ... </div>

, но когда я пытаюсь открыть тег с помощью BeautifulSoup:

browser = webdriver.PhantomJS(executable_path=PATH) 
browser.get(url) 
bs_obj = BeautifulSoup(browser.page_source, "html.parser") 
results_col = bs_obj.find("div", {"id": "results-col"}) 

Я ничего не получаю (results_col = None). Что я делаю неправильно?

Answer 1

Wait for the desired element присутствовать и только после этого получить исходный код страницы:

from selenium.webdriver.common.by import By 
from selenium.webdriver.support.ui import WebDriverWait 
from selenium.webdriver.support import expected_conditions as EC 

# ... 
browser.get(url) 

wait = WebDriverWait(browser, 10) 
wait.until(EC.presence_of_element_located((By.ID, "results-col"))) 

bs_obj = BeautifulSoup(browser.page_source, "html.parser")