Невозможно найти содержимое «div» с помощью BeautifulSoup

Question

Я пытаюсь очистить информацию о MLB-игроках с сайта MLB. Однако, используя urllib2 и BeautifulSoup, я не могу найти содержимое под «div». Но я могу видеть содержимое Chrome.

Примером является то, что на странице (http://mlb.mlb.com/team/player.jsp?player_id=150378). Информация о состоянии в верхней правой части показывает «Выпущено». Но я не могу найти эту строку/контент, используя BS4.

Вот мой код:

base_url = 'http://mlb.mlb.com/team/player.jsp?player_id=150378' 
request = urllib2.Request(base_url) 
response = urllib2.urlopen(request) 
soup = BeautifulSoup(response) 
player_status = soup.findAll('div',id='player_status') 
print player_status 

Я ожидал, что это есть строка, как «Статус: Выпущена», , но результат показывает только

[<div id="player_status"></div>] 

Я никогда не сталкивался с этой проблемой раньше , Может кто-то помочь мне с этим? Спасибо!

Answer 1

Информация об игроке Информация о игроке, которая находится на этой странице, является ответом на дополнительный запрос XHR к API JSON. Вы можете имитировать его, например, используя requests:

>>> import requests 
>>> 
>>> url = "http://mlb.mlb.com/lookup/json/named.player_info.bam?sport_code=%27mlb%27&player_id=150378" 
>>> 
>>> response = requests.get(url) 
>>> data = response.json() 
>>> data['player_info']['queryResults']['row']['status'] 
Released