£ отображение в urllib2 и Beautiful Soup

Question

Я пытаюсь написать небольшой скребок в python, и я думаю, что столкнулся с проблемой кодирования. Я пытаюсь скрести http://www.resident-music.com/tickets (в частности таблицу на странице) - строка может выглядеть примерно так -

<tr> 
     <td style="width:64.9%;height:11px;"> 
     <p><strong>the great escape 2017&nbsp; local early bird tickets, selling fast</strong></p> 
     </td> 
     <td style="width:13.1%;height:11px;"> 
     <p><strong>18<sup>th</sup>&ndash; 20<sup>th</sup> may</strong></p> 
     </td> 
     <td style="width:15.42%;height:11px;"> 
     <p><strong>various</strong></p> 
     </td> 
     <td style="width:6.58%;height:11px;"> 
     <p><strong>&pound;55.00</strong></p> 
     </td> 
     </tr> 

Я по существу пытается заменить £55.00 с £ 55, а также любые другие «не- текст "гадости.

Я пробовал несколько разных кодировок, которые вы можете использовать с beautifulsoup, и urllib2 - безрезультатно, я думаю, что я просто делаю все это неправильно.

Благодаря

Answer 1

Вы хотите экранирования в HTML, который вы можете сделать с помощью html.unescape в Python3:

In [14]: from html import unescape 

In [15]: h = """<tr> 
    ....:   <td style="width:64.9%;height:11px;"> 
    ....:   <p><strong>the great escape 2017&nbsp; local early bird tickets, selling fast</strong></p> 
    ....:   </td> 
    ....:   <td style="width:13.1%;height:11px;"> 
    ....:   <p><strong>18<sup>th</sup>&ndash; 20<sup>th</sup> may</strong></p> 
    ....:   </td> 
    ....:   <td style="width:15.42%;height:11px;"> 
    ....:   <p><strong>various</strong></p> 
    ....:   </td> 
    ....:   <td style="width:6.58%;height:11px;"> 
    ....:   <p><strong>&pound;55.00</strong></p> 
    ....:   </td> 
    ....:  </tr>""" 

In [16]: 

In [16]: print(unescape(h)) 
<tr> 
     <td style="width:64.9%;height:11px;"> 
     <p><strong>the great escape 2017  local early bird tickets, selling fast</strong></p> 
     </td> 
     <td style="width:13.1%;height:11px;"> 
     <p><strong>18<sup>th</sup>– 20<sup>th</sup> may</strong></p> 
     </td> 
     <td style="width:15.42%;height:11px;"> 
     <p><strong>various</strong></p> 
     </td> 
     <td style="width:6.58%;height:11px;"> 
     <p><strong>£55.00</strong></p> 
     </td> 
     </tr> 

Для использования python2:

In [6]: from html.parser import HTMLParser 

In [7]: unescape = HTMLParser().unescape 

In [8]: print(unescape(h)) 
<tr> 
     <td style="width:64.9%;height:11px;"> 
     <p><strong>the great escape 2017  local early bird tickets, selling fast</strong></p> 
     </td> 
     <td style="width:13.1%;height:11px;"> 
     <p><strong>18<sup>th</sup>– 20<sup>th</sup> may</strong></p> 
     </td> 
     <td style="width:15.42%;height:11px;"> 
     <p><strong>various</strong></p> 
     </td> 
     <td style="width:6.58%;height:11px;"> 
     <p><strong>£55.00</strong></p> 
     </td> 

Вы можете увидеть, как правильно все экранирования в не только знак фунта.

Answer 2

Я использовал requests для этого, но, надеюсь, вы можете сделать это с помощью urllib2 также. Так вот код:

#!/usr/bin/env python 
# -*- coding: utf-8 -*- 

import requests 
from BeautifulSoup import BeautifulSoup 

soup = BeautifulSoup(requests.get('your_url').text) 
chart = soup.findAll(name='tr') 
print str(chart).replace('£',unichr(163)) #replace '£' with '£' 

Теперь вы должны взять ожидаемый выход!

выход

Пример:

... 
<strong>£71.50</strong></p> 
... 

Во всяком случае о разборе вы можете сделать это с многими способами, что было интересно здесь: print str(chart).replace('£',unichr(163)), который был довольно сложной задачей :)

Update

Если вы хотите избежать более одного (или даже одного) персонажа (например, тире, фунтах и ​​т. Д.), Вам было бы проще/эффективнее использовать parser, как в ответе Падрейка. Иногда вы также читаете комментарии, которые они обрабатывают, и другие проблемы с кодировкой.