апостроф превращается в \ x92

Question

mycorpus.txt

Human where's machine interface for lab abc computer applications 
A where's survey of user opinion of computer system response time 

stopwords.txt

let's 
ain't 
there's 

Следующий код

corpus = set() 
for line in open("path\\to\\mycorpus.txt"): 
    corpus.update(set(line.lower().split())) 
print corpus 

stoplist = set() 
for line in open("C:\\Users\\Pankaj\\Desktop\\BTP\\stopwords_new.txt"): 
    stoplist.add(line.lower().strip()) 
print stoplist 

дает следующий вывод

set(['a', "where's", 'abc', 'for', 'of', 'system', 'lab', 'machine', 'applications', 'computer', 'survey', 'user', 'human', 'time', 'interface', 'opinion', 'response']) 
set(['let\x92s', 'ain\x92t', 'there\x92s']) 

Почему апостроф превращается в \ x92 во втором сете?

Answer 1

Кодовая точка 92 (шестнадцатеричная) в кодировке window-1252 является кодовой точкой Юникода 2019 (шестнадцатеричная), которая является «ПРАВОЙ ОДИНОЧНОЙ ЦЕНОЙ». Это похоже на апостроф и, вероятно, будет фактическим персонажем, который у вас есть в stopwords.txt, который, как я уже догадался, из-за того, как интерпретировал python, был закодирован в windows-1252 или кодировке, которая разделяет значения кодовых точек ASCII и ’ ,

'vs'