2016-12-06 4 views
0

это любой способ захватить все запросы заголовков с сайта, который загружается в сетевом инструменте браузера (возможно, селемии)?Запросы заголовков захвата Python

Мне нужен этот URL enter image description here

+0

можно ли использовать модуль запроса python? –

+0

Да, в любом случае, мне нужно захватить все эти URL-адреса. –

+0

'URL' не является заголовком. Также параметры для отправки в 'URL' не являются заголовками – Andersson

ответ

0

Попробуйте этот код и дайте мне знать, в случае каких-либо проблем:

links = [] 
for element in driver.find_elements_by_xpath('//head/*[@href or @src]): 
    link = element.get_attribute("href") 
    links.append(element.get_attribute("href")) if link != '' else links.append(element.get_attribute("src")) 

Чтобы получить ссылки из фреймов также может понадобиться добавить следующее:

for frame in driver.find_elements_by_tag_name('iframe'): 
    driver.switch_to_frame(frame) 
    for element in driver.find_elements_by_xpath('//head/*[@href or @src]): 
     link = element.get_attribute("href") 
     links.append(element.get_attribute("href")) if link != '' else links.append(element.get_attribute("src")) 
    driver.switch_to_default_content() 
+0

Он вернул только URL-адреса на странице, но не URL-адреса сторонних разработчиков (например, Google), мне нужно анализировать такие URL-адреса - URL-адрес запроса: https: //googleads.g.doubleclick.net/pagead/ads? Client = ca -pub -... –

+0

Эта ссылка размещена внутри iframe –

+0

Проверить обновленный ответ – Andersson

Смежные вопросы