Заменить не-ASCII-символы одним пробелом

Question

Мне нужно заменить все символы, отличные от ASCII (\ x00- \ x7F) пробелом. Я удивлен, что в Python это не так легко, если я ничего не пропустил. Следующая функция просто удаляет все символы не-ASCII:

def remove_non_ascii_1(text): 

    return ''.join(i for i in text if ord(i)<128) 

И это один заменяет не-ASCII символы с количеством пробелов как в количество байт в коде символа (т.е. – символа заменяются 3 пробела):

def remove_non_ascii_2(text): 

    return re.sub(r'[^\x00-\x7F]',' ', text) 

Как я могу заменить все символы не-ASCII с одним пробелом?

OfthemyriadofsimilarSOquestions, noneaddresscharacterreplacementasopposedtostripping, and дополнительно рассмотреть все символы не-ASCII не конкретный характер.

Answer 1

Ваше выражение ''.join(): фильтрация, удаление чего-либо не-ASCII; Вы можете использовать условное выражение вместо:

return ''.join([i if ord(i) < 128 else ' ' for i in text]) 

Это обрабатывает символы один за другим, и будет по-прежнему использовать один пробел на символ заменен.

Ваше регулярное выражение должно просто заменить последовательных не-ASCII символы с пробелом:

re.sub(r'[^\x00-\x7F]+',' ', text) 

Обратите внимание на + там.

Answer 2

Для символов обработки, использовать строки Unicode:

PythonWin 3.3.0 (v3.3.0:bd8afb90ebf2, Sep 29 2012, 10:57:17) [MSC v.1600 64 bit (AMD64)] on win32. 
>>> s='ABC马克def' 
>>> import re 
>>> re.sub(r'[^\x00-\x7f]',r' ',s) # Each char is a Unicode codepoint. 
'ABC def' 
>>> b = s.encode('utf8') 
>>> re.sub(rb'[^\x00-\x7f]',rb' ',b) # Each char is a 3-byte UTF-8 sequence. 
b'ABC  def' 

Но заметьте, вы все еще есть проблемы, если ваша строка содержит разложенные символы Unicode (отдельный символ и комбинирование знаки ударения, например):

>>> s = 'mañana' 
>>> len(s) 
6 
>>> import unicodedata as ud 
>>> n=ud.normalize('NFD',s) 
>>> n 
'mañana' 
>>> len(n) 
7 
>>> re.sub(r'[^\x00-\x7f]',r' ',s) # single codepoint 
'ma ana' 
>>> re.sub(r'[^\x00-\x7f]',r' ',n) # only combining mark replaced 
'man ana' 

Answer 3

для вас получить наиболее Alike представление исходной строки я рекомендую the unidecode module:

from unidecode import unidecode 
def remove_non_ascii(text): 
    return unidecode(unicode(text, encoding = "utf-8")) 

Затем вы можете использовать его в строке:

remove_non_ascii("Ceñía") 
Cenia 

Answer 4

Что об этом?

def replace_trash(unicode_string): 
    for i in range(0, len(unicode_string)): 
     try: 
      unicode_string[i].encode("ascii") 
     except: 
       #means it's non-ASCII 
       unicode_string=unicode_string[i].replace(" ") #replacing it with a single space 
    return unicode_string 

Answer 5

Если символ замены может быть '?'Вместо пробела, то я бы предложил result = text.encode('ascii', 'replace').decode():

"""Test the performance of different non-ASCII replacement methods.""" 


import re 
from timeit import timeit 


# 10_000 is typical in the project that I'm working on and most of the text 
# is going to be non-ASCII. 
text = 'Æ' * 10_000 


print(timeit(
    """ 
result = ''.join([c if ord(c) < 128 else '?' for c in text]) 
    """, 
    number=1000, 
    globals=globals(), 
)) 

print(timeit(
    """ 
result = text.encode('ascii', 'replace').decode() 
    """, 
    number=1000, 
    globals=globals(), 
)) 

Результаты:

0.7208260721400134 
0.009975979187503592 

Answer 6

как родной и эффективный подход, вам не нужно использовать ord или любой цикл над персонажами , Просто закодируйте с помощью ascii и проигнорируйте ошибки.

Далее будет просто удалить не-ASCII символы:

new_string = old_string.encode('ascii',errors='ignore') 

Теперь, если вы хотите, чтобы заменить удаленные символы просто сделайте следующее:

final_string = new_string + b' ' * (len(old_string) - len(new_string))