BeautifulSoup найти все вхождения определенного текста

Question

Я буду анализировать множество сайтов с различными htmls, и я пытаюсь найти все строки, содержащие определенный текст (внутри html), используя BeautifulSoup.

r = requests.get(url) 
soup = BeautifulSoup(r.content, "lxml")    
for text in soup.find_all(): 
    if "price" in text: 
     print text 

Этот подход не работает (хотя «цена» упоминается более 40 раз в html). Может быть, есть еще лучший подход к этому?

Answer 1

Почему не позволяют BeautifulSoup найти вам узлы, содержащие нужный текст:

for node in soup.find_all(text=lambda x: x and "price" in x): 
    print(node) 

Answer 2

Чтобы извлечь весь текст из заданного URL, вы можете просто использовать что-то вроде:

r = requests.get(url) 
soup = BeautifulSoup(r.content, "lxml")    

for element in soup.findAll(['script', 'style']): 
    element.extract() 

text = soup.get_text() 

Этом также удалит возможный нежелательный текст внутри разделов script и style. Затем вы можете искать требуемый текст, используя это.

Answer 3

вы не должны использовать красивый суп, чтобы найти конкретный текст в HTML вместо этого вы можете использовать запрос, что для бывших:

r = requests.get(url) 
if 'specific text' in r.content: 
    print r.content