Просмотр всей веб-страницы с beautifulsoup

Question

Я очищаю веб-сайт, но он показывает только часть веб-сайта внизу, у него есть кнопка больше. Есть ли все, чтобы просмотреть все на веб-странице через python?

Answer 1

BeautifulSoup просто анализирует возвращенный HTML. Он не выполняет JavaScript, который часто используется для загрузки нового контента или для изменения существующей веб-страницы после ее загрузки.

Вам нужно будет выполнить JavaScript, для которого требуется больше, чем просто парсер HTML. Вам в основном нужно использовать браузер. Есть несколько Python пакетов, чтобы сделать это:

• Selenium
• Ghost.py