У меня есть сайт, я хотел бы, чтобы нажать на кнопку, то скрести сайт, используя Python HTML-код между кнопкой:Нажмите кнопку на сайте, то царапать веб-страницу
<span id="exchange-testing" class="exchange-input nav-link" data track="&lid=testing&lpos=site_settings" data-value="testing">Testing</span>
Возможно ли это? Я могу очистить все данные, которые мне нужны со страницы, но мне нужно сначала нажать кнопку.
Любая помощь будет оценена
В принципе, у вас есть два варианта:
высокого уровня подход: автоматизировать реальный браузер, используя selenium или, другими словами, сделать повторение браузера все действия пользователя, необходимые для перехода на страницу с нужными данными.
низкоуровневый подход: при нажатии на кнопку, исследовать то, что происходит под капотом - изучить вкладку «Сеть» браузерных инструментов разработчика и посмотреть, какие запросы делаются. Затем имитируйте их в своем скребке. Здесь вы можете использовать инструменты, такие как requests, mechanize для обработки запросов, обработки сеансов очистки, отправки форм и т. Д. И таких инструментов, как BeautifulSoup, lxml.html для разбора html. Кроме того, необходимо отметить, что веб-скребок Scrapy.