Я бы хотел сделать очень простую замену с помощью Beautiful Soup. Предположим, я хочу посетить все теги A на странице и добавить «? Foo» к их href. Может ли кто-нибудь опубликовать ссылку или ссылку на пример того, как сделать что-то простое?Где я могу найти примеры «привет мир» - простые образцы супов?
7
A
ответ
14
from BeautifulSoup import BeautifulSoup
soup = BeautifulSoup('''
<html>
<head><title>Testing</title></head>
<body>
<a href="http://foo.com/">foo</a>
<a href="http://bar.com/bar">Bar</a>
</body>
</html>''')
for link in soup.findAll('a'): # find all links
link['href'] = link['href'] + '?foo'
print soup
, который печатает:
<html>
<head><title>Testing</title></head>
<body>
<a href="http://foo.com/?foo">foo</a>
<a href="http://bar.com/bar?foo">Bar</a>
</body>
</html>
documentation также имеет некоторые examples for changing attributes. Это обширный учебник, который охватывает все распространенные аспекты BeautifulSoup. Я не знаю, чего не хватает в документации, возможно, вам следует уточнить.
1
мой пример:
HEADERS = {"User-Agent" : "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.1.5) Gecko/20091102 Firefox/3.5.5",
"Accept" : "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
"Accept-Language" : "ru,en-us;q=0.7,en;q=0.3",
"Accept-Charset" : "windows-1251,utf-8;q=0.7,*;q=0.7",
"Accept-Encoding" : "identity, *;q=0",
"Connection" : "Keep-Alive"}
PROXY=None
timeout=60
def parse_manuf_page_about(page_str_about):
slovar={}
global timeout
socket.setdefaulttimeout(timeout)
if PROXY is not None:
proxy_handler = urllib2.ProxyHandler({ "http": "http://"+PROXY+"/" })
opener = urllib2.build_opener(proxy_handler)
urllib2.install_opener(opener)
page_request = urllib2.Request(url=page_str_about, headers=HEADERS)
try:
#print "Page reading ... %s" %page_str
page_zapr = urllib2.urlopen(url=page_request)
page=page_zapr.read()
except Exception ,error:
print str(error)
res=False
return res,slovar
soup = BeautifulSoup(page)
select_pod=soup.findAll('div', {"class":"win aboutUs"})
promeg= select_pod[0].findAll("p")[0]
zerro_br= promeg.findAll(text=True)
Company_Info=" ".join(zerro_br).strip(" \t\n")
select =soup.findAll('div', {"class":"win"})
cells_tabl= select[0].findAll("tr")
for yach in cells_tabl:
text_zag=yach.findAll("th")
for zn_yach in text_zag:
if len(zn_yach)>0:
txt_zn_yach="".join(zn_yach.findAll(text=True)).strip(" \t\n")
else:
txt_zn_yach= zn_yach.contents[0].strip(" \t\n")
#print txt_zn_yach
text_znach_td=yach.findAll("td")
for zn_yach_td in text_znach_td:
if len(zn_yach_td)>0:
txt_zn_yach_td="".join(zn_yach_td.findAll(text=True)).strip(" \t\n")
else:
txt_zn_yach_td= zn_yach.contents[0].strip(" \t\n")
#print txt_zn_yach_td
# Делаем замены неугодных символов/Replase browsers char
if " " in txt_zn_yach_td:
while txt_zn_yach_td.find("nbsp;")>0:
pos_gavna=txt_zn_yach_td.find(" ")
txt_zn_yach_td=txt_zn_yach_td[:pos_gavna]+txt_zn_yach_td[pos_gavna+6:]
if """ in txt_zn_yach_td:
while txt_zn_yach_td.find("quot;")>0:
pos_gavna=txt_zn_yach_td.find(""")
txt_zn_yach_td=txt_zn_yach_td[:pos_gavna]+'"'+txt_zn_yach_td[pos_gavna+6:]
if "&" in txt_zn_yach_td:
while txt_zn_yach_td.find("&")>0:
pos_gavna=txt_zn_yach_td.find("&")
txt_zn_yach_td=txt_zn_yach_td[:pos_gavna]+'&'+txt_zn_yach_td[pos_gavna+6:]
slovar[str(txt_zn_yach)]=txt_zn_yach_td
slovar["Company_Info"]=Company_Info
# разбираем нижнюю таблицу с контактом и вытаскиваем оттуда имя контакта | get name contacts
select_contact=soup.findAll('a', {"class":"member-name"})
for contact_person in select_contact:
slovar["Contact_Person"]= contact_person.contents[0]
# получаем статус голд партнера по наличию таблички в левом верхнем углу | get Gold status
select_gold_part=soup.findAll('a', {"class":"memberLogo"})
if len(select_gold_part)==0:
slovar["Gold member"]="N"
else:
slovar["Gold member"]="Y"
res=True
return res,slovar
Этот код разбора одной страницы мануфактурного на Alibaba.com. Вы можете увидеть его страницу - http://xmxinhuafeng.en.alibaba.com/aboutus.html
Смежные вопросы
- 1. Где я могу найти альтернативные образцы realURLs?
- 2. Где я могу найти ясные примеры MVC?
- 3. Привет, мир в Prolog
- 4. Где я могу найти примеры использования LWJGL?
- 5. Где найти пример «привет мир»/учебник для разработки аддонов XBMC?
- 6. Где я могу найти образцы использования jpa orm.xml
- 7. Привет, мир FBJS
- 8. Печать «Привет» вместо «Привет, мир!»
- 9. Привет, мир в pyqt?
- 10. Ассамблея, привет мир вопрос
- 11. Где простые примеры AWK для начала?
- 12. Где найти образцы записей UDDI
- 13. Привет, мир Приложение VR
- 14. «Привет мир» ошибка учебник
- 15. Почему я не могу создать «мир привет» для glib?
- 16. Привет, мир в VBS
- 17. Привет, мир для CUDA.Net
- 18. Привет, мир app
- 19. привет мир Jsp ошибка
- 20. «Привет мир» - путь TDD?
- 21. i18n Привет, мир
- 22. Привет, мир! в Brainfuck
- 23. x86 MASM привет мир
- 24. Привет мир с GraphQLObjectType
- 25. Libspotify простой мир привет
- 26. Linux Shellcode «Привет, мир!»
- 27. node.js привет мир неисправного
- 28. Привет, мир hibernate
- 29. Почему «привет» + + '/' + "мир" == "hello47world"?
- 30. Где я могу найти образцы автоматов и машин для обучения?
Действительно ли работает живой живец? –