Python/HTML Как очистить содержимое веб-страницы без советника cookie?

Question

Я пытаюсь очистить содержимое веб-страницы с помощью Python, и я могу получить каждый контент, который мне нужен, но в возвращенном HTML есть советник cookie. Я хочу удалить его, но я не знаю, как его исключить из запроса XPath или содержимого HTML. Здесь вы можете найти советника в нижнем колонтитуле страницы. Webpage here

#!C:/Python27/python 
from lxml import etree 
import requests 
import cgi 

fs = cgi.FieldStorage() 
q =fs.getfirst ("URL") 

page = requests.get(q) 

if q.find("http://www.dlib.org") != -1: 
    tree = etree.HTML(page.text) 
    element = tree.xpath('./body/form/table[3]/tr/td/table[5]') 
else: 
    p = etree.XMLParser(remove_blank_text=True, resolve_entities=False) 
    tree = etree.fromstring(page.content, p) 
    element = tree.xpath('.//*[@id="content"]') 

content = etree.tostring(element[0]) 

print "Content-type: text\n\n" 
print content.strip() 

Answer 1

Для страницы вы указали, советник печенье существует в div с id=cookiesAlert. Вы можете использовать lxml.xpath() для поиска этого div и удалить его, так как:

if q.find("http://www.dlib.org") != -1: 
    tree = etree.HTML(page.text) 
    element = tree.xpath('./body/form/table[3]/tr/td/table[5]') 
else: 
    p = etree.XMLParser(remove_blank_text=True, resolve_entities=False) 
    tree = etree.fromstring(page.content, p) 
    element = tree.xpath('.//*[@id="content"]') 
    cookies_alert = element[0].xpath('.//*[@id="cookiesAlert"]') 
    for ca in cookies_alert: 
     ca.getparent().remove(ca)