это любой способ захватить все запросы заголовков с сайта, который загружается в сетевом инструменте браузера (возможно, селемии)?Запросы заголовков захвата Python
ответ
Попробуйте этот код и дайте мне знать, в случае каких-либо проблем:
links = []
for element in driver.find_elements_by_xpath('//head/*[@href or @src]):
link = element.get_attribute("href")
links.append(element.get_attribute("href")) if link != '' else links.append(element.get_attribute("src"))
Чтобы получить ссылки из фреймов также может понадобиться добавить следующее:
for frame in driver.find_elements_by_tag_name('iframe'):
driver.switch_to_frame(frame)
for element in driver.find_elements_by_xpath('//head/*[@href or @src]):
link = element.get_attribute("href")
links.append(element.get_attribute("href")) if link != '' else links.append(element.get_attribute("src"))
driver.switch_to_default_content()
Он вернул только URL-адреса на странице, но не URL-адреса сторонних разработчиков (например, Google), мне нужно анализировать такие URL-адреса - URL-адрес запроса: https: //googleads.g.doubleclick.net/pagead/ads? Client = ca -pub -... –
Эта ссылка размещена внутри iframe –
Проверить обновленный ответ – Andersson
- 1. Пользовательские запросы заголовков AngularJS
- 2. HTTP-запросы и запросы от заголовков?
- 3. Добавление заголовков в запросы ORION
- 4. Parser только для захвата заголовков столбцов CSV
- 5. Запросы HTTPS отправляются без заголовков с запросами Python
- 6. Запросы python с перенаправлением
- 7. Добавление заголовков в запросы browser.get() в protractor
- 8. Анализ файла захвата Python
- 9. Python ключ связывания/захвата
- 10. Группы повторного захвата Python
- 11. Исключение захвата в python
- 12. Выход подпроцесса захвата Python
- 13. Python - POST несколько заголовков
- 14. Python добавления заголовков CSV
- 15. Python-- Извлечение заголовков http
- 16. запросы python
- 17. Интеграция Fiddler с Selenium RC для захвата HTTP-заголовков
- 18. python заменить на группу захвата
- 19. Получение заголовков с библиотекой запросов Python
- 20. Python запрашивает кеширование заголовков аутентификации
- 21. размещение заголовков в массиве, python
- 22. Python Добавление заголовков в urlparse
- 23. Запросы на Python получают TLSV1_ALERT_INTERNAL_ERROR
- 24. Как часто python-запросы выполняют запросы dns
- 25. Python: многопроцессорность и запросы
- 26. Python Запросы, возвращающие 500
- 27. Запросы - Несколько прокси python
- 28. HTTP-запросы (Python + VBA)
- 29. Python анализирует запросы
- 30. python запросы загрузка файла
можно ли использовать модуль запроса python? –
Да, в любом случае, мне нужно захватить все эти URL-адреса. –
'URL' не является заголовком. Также параметры для отправки в 'URL' не являются заголовками – Andersson