Код HTML в элементе проверки отличается от html исходного кода

Question

Я пытаюсь просканировать сайт (с помощью python) и получить информацию о нем. Но когда я загружаю источник страниц, он отличается от того, что я вижу в контрольном элементе в хроме. Я googled, и мне кажется, я должен использовать селен, но я не знаю, как его использовать. Это код, который у меня есть, и когда я вижу файл driver.page_source, он по-прежнему является исходной страницей, как в хроме, и не похож на источник в элементе проверки. Я очень ценю, если кто-то может помочь мне исправить это.

`

import os 
from selenium import webdriver 

chromedriver = "/Users/adam/Downloads/chromedriver" 
os.environ["webdriver.chrome.driver"] = chromedriver 
driver = webdriver.Chrome(chromedriver) 
driver.get("http://www.tudiabetes.org/forum/users/Bug74/activity") 
driver.quit() 

`

Answer 1

Это называется XHR.
Ваша страница была загружена с другого вызова (ваш url загружает только strcuture страницы, а мясо страницы происходит из другого источника, используя XHR, форматированную строку json), а не pageload.

Вы должны действительно использовать requests и bs4 вместо запроса this page.