Как удалить символы nonAscii в питоне

Question

Это мой код:

#!C:/Python27/python 
# -*- coding: utf-8 -*- 
import requests 
from bs4 import BeautifulSoup 
import urllib2 
import sys 
import urlparse 
import io 

url = "http://www.dlib.org/dlib/november14/beel/11beel.html" 
#url = "http://eqa.unibo.it/article/view/4554" 
#r = requests.get(url) 
html = urllib2.urlopen(url) 
soup = BeautifulSoup(html, "html.parser") 
#soup = BeautifulSoup(r.text,'lxml') 

if url.find("http://www.dlib.org") != -1: 
    div = soup.find('td', valign='top') 
else: 
    div = soup.find('div',id='content') 

f = open('path/file_name.html', 'w') 
f.write(str(div)) 
f.close() 

Зачистка этих веб-страницах я нашел некоторые nonAScii символов в HTML файл, написанном от этого сценария, что мне нужно, чтобы удалить или решить в машиночитаемый символы. Любые советы? Спасибо

Answer 1

символы 8 байт (0-255), ASCII символы являются 7 байт (0-127), так что вы можете просто удалить все символы со значением Ord ниже 128

CHR преобразовать целое число символ, ord преобразует символ в целое число.

text = ''.join((c for c in str(div) if ord(c) < 128) 

это должен быть ваш окончательный код

#!C:/Python27/python 
# -*- coding: utf-8 -*- 
import requests 
from bs4 import BeautifulSoup 
import urllib2 
import sys 
import urlparse 
import io 

url = "http://www.dlib.org/dlib/november14/beel/11beel.html" 
#url = "http://eqa.unibo.it/article/view/4554" 
#r = requests.get(url) 
html = urllib2.urlopen(url) 
soup = BeautifulSoup(html, "html.parser") 
#soup = BeautifulSoup(r.text,'lxml') 

if url.find("http://www.dlib.org") != -1: 
    div = soup.find('td', valign='top') 
else: 
    div = soup.find('div',id='content') 

f = open('path/file_name.html', 'w') 
text = ''.join((c for c in str(div) if ord(c) < 128) 
f.write(text) 
f.close() 

Answer 2

Чтобы удалить не ASCII персонажей из текста.

import string 

text = [word for word in text if word not in string.ascii_letters] 

Answer 3

Попробовать нормализуют строку, а затем ASCII кодировать его, игнорируя ошибки.

# -*- coding: utf-8 -*- 
from unicodedata import normalize 

string = 'úäô§' 

if isinstance(string, str): 
    string = string.decode('utf-8') 

print normalize('NFKD', string).encode('ASCII', 'ignore') 
>>> uao