извлечение текста из google ученого

Question

Я пытаюсь извлечь текст из фрагмента теста, который google ученого дает для конкретного запроса. По текстовому фрагменту я имею в виду текст под заголовком (в черной букве). В настоящее время я пытаюсь извлечь из HTML-файла с помощью питона, но он содержит много дополнительных испытаний, таких как

/div><div class="gs_fl" ... и т.д..

Есть ли простой способ или код, который может помочь мне получить текст без этих избыточных текстов.

Answer 1

Вам нужен HTML Parser:

import lxml.html 

doc = lxml.html.fromstring(html) 
text = doc.xpath('//div[@class="gs_fl"]').text_content() 

Вы можете установить LXML с «пункт установить LXML», но вы должны будете строить свои зависимости, и детали будут отличаться друг от друга в зависимости от того, что ваша платформа ,