Веб-сканирование с использованием python beautifulsoup

Question

Как извлечь данные, находящиеся внутри <p> тегов абзаца и <li>, которые находятся под названием <div>?

Answer 1

использовать функции find() и find_all():

import requests 
from bs4 import BeautifulSoup 

url = '...' 

r = requests.get(url) 
data = r.text 
soup = BeautifulSoup(data, 'html.parser') 

div = soup.find('div', {'class':'class-name'}) 
ps = div.find_all('p') 
lis = div.find_all('li') 

# print the content of all <p> tags 
for p in ps: 
    print(p.text) 

# print the content of all <li> tags 
for li in lis: 
    print(li.text)