Различия в идентификации языка langid

Question

У меня есть база данных, из которой я читаю. Я хочу идентифицировать язык в определенной ячейке, определенной столбцом. Я использую библиотеку langid для python.

Я прочитал из моей базы данных, как это:

connector = sqlite3.connect("somedb.db") 
selecter = connector.cursor() 
selecter.execute(''' SELECT tags FROM sometable''') 
for row in selecter: #iterate through all the rows in db 
    #print (type(row)) #tuple 
    rf = str(row) 
    #print (type(rf)) #string 
    lan = langid.classify("{}".format(rf)) 

Технически, это работает. Он идентифицирует используемые языки, а затем (не отображается здесь) записывает идентифицированный язык обратно в базу данных.

Итак, теперь наступает странная часть. Я хотел бы дважды проверить некоторые результаты вручную. Поэтому у меня есть такие слова:

a = "shadow party people bw music mer white man black france men art nature monochrome french fun shoe sand nikon europe noir noiretblanc sable playa poetic nb ombre shade contraste plage blanc saxophone dunkerque nord homme musique saxo artiste artistique musicien chaussure blancandwhite d90 saxophoniste zyudcoote" 

Когда я выполнить идентификацию языка на database она строит мне португальцы в базу данных. Но, выполняя это следующим образом:

a = "shadow party people bw music mer white man black france men art nature monochrome french fun shoe sand nikon europe noir noiretblanc sable playa poetic nb ombre shade contraste plage blanc saxophone dunkerque nord homme musique saxo artiste artistique musicien chaussure blancandwhite d90 saxophoniste zyudcoote" 
lan = langid.classify(a) 

Ну, что возвращает меня французский. Кроме того, он не является ни французским, ни португальским, почему он возвращает разные результаты ?!

Answer 1

В цикле row привязан к кортежа с помощью одного элемента, т.е. ('tags',) - где 'tags' обозначает список слов. str(row) поэтому (в Python 3) возвращает "('tags',)", и именно эта строка (включая одинарные кавычки, запятые и фигурные скобки) передается в langid.classify(). Если вы используете Python 2, строка становится "(u'tags',)".

Теперь я не уверен, что это объясняет другой результат определения языка, и мое тестирование на Python 2 показывает, что это не так, но это очевидная разница между данными базы данных с базами данных и данными простой строки.

Возможно, в игре есть проблема с кодировкой. Как хранятся данные в базе данных? Текстовые данные должны кодироваться в кодировке UTF-8.