Scrape список библиотек, использующих BeautifulSoup

Question

Я пытаюсь очистить список библиотек из https://www.nypl.org/locations/list, используя следующий код:

req = urllib2.Request('https://www.nypl.org/locations/list', headers={'User-Agent' : "Magic Browser"}) 
library = urllib2.urlopen(req).read() 
soup = BeautifulSoup(library) 

Однако объект супа, кажется, не содержит все элементы, и что более важно, список (т. е. тег тета). Мне нужно сделать вызов AJAX, чтобы очистить список? Что мне здесь не хватает?

Answer 1

Вы можете избежать динамического содержимого непосредственно разбора API, который использует это приложение для загрузки данных Это конечная точка

https://refinery.nypl.org/api/nypl/locations/v1.0/locations