Некоторые данные SQL на русском языке выводятся символом в конце

Question

У меня есть проблема с отображением российских данных из моей базы данных MySQL. Предыстория: какой-то другой программист создал базу данных, и сейчас я несу ответственность за нее.

Моя проблема: На странице HTML выведен список операторов из моей базы данных. В заявлениях все россияне. Из всех 80 заявлений есть 6 утверждений, которые на их концах выводятся с черным значком с белым знаком вопроса в нем ().

Распространенное вещь (!!!) является то, что знак вопроса всегда появляется в конце заявления и утверждения являются самыми длинными с около 80 символов.

вот список некоторых заявлений на моем HTML странице:

• Я действую скорее активно, агрессивно и, думая о своей выгоде
• Как интровертный своенравный человек, который демонстрирует мало собственной ин
• Являешься убедительным, располагающим и целеустремленным
• Я демонстрирую разум и ясность, объективность и логику
• Кого-то, кто самостоятельно мыслит и знает, как себе помочь
• То мне следовало бы сдержанно реагировать и найти другой путь, чтобы получить бол

Я заглянул в базу данных в свои «заявления» и обнаружил, что операторы сохраняются как идентификационные символы. Например, спасенная запись для второго российского заявления выше (который содержит знак вопроса в конце) заключается в следующем:

ð Ð'ÐμйÑÑ,вую ÑÐºÐ¾Ñ € ÐμÐμ Ð'овÐμÑ € Ð¸Ñ , ÐμÐ »Ð¸ ьно окР° Ð · Ñ <вР° новозеландских ÑвоÐμ Ð'овÐμÑ € иÐμ Ñ,Ð ° кжÐμ Ð'Ñ € угим, коÑ,Ð¾Ñ € Ñ <дМ Ðº нÐμÐ

О таблице: Его сортировка utf8_unicode_ci с полями VARCHAR (150) как тип данных.

Мои вопросы:

1. Почему операторы сохраняются с этими unidentifable буквами в моей таблице? Как я могу конвертировать их на русский?
2. В чем причина символа вопросительного знака на выходе html? Как я могу избавиться от него?

EDIT:

В том же проекте я нашел еще одну проблему, которую я описать в отдельном посте. Может быть, эта проблема связана с этим?

PHP: Special char becomes question mark icon in substring

Answer 1

Это звучит как простая проблема усечения. Varchar (150) говорит, что поле не более 150 байт. UTF8 может использовать более одного байта на символ - например, каждая буква в кириллице будет использовать 2 байта, в то время как символы пробела или запятой будут использовать 1 байт. Поэтому, если длина строки больше 150 байтов, возможно, что кириллическая буква усечена посередине. Например, в вашем втором предложении маленький и имеет код utf8 d0 b8, но был усечен до d0, который является непечатаемым символом, в результате чего вы видите ?. Вы ничего не можете с этим поделать, данные уже потеряны. Вы можете только отключить отображение, удалив автономный байт в диапазоне от C2..DF от конца строки.

Что касается неопознанных букв, которые вы видите, есть много факторов. Кодировка базы данных, кодирование соединений, сортировка таблиц и кодировка отображения, если вы используете веб-интерфейс, способствуют беспорядку, перед тем, как вы его увидите, может быть много повторных кодировок. Также возможно, что данные каким-то образом перекодируются при вставке и декодировании перед отображением - не самое худшее, что я видел в устаревшем коде. Вам придется экспериментировать и находить правильную комбинацию самостоятельно.

Answer 2

использование MBstring может изменить кодирующий http://php.net/manual/en/book.mbstring.php

Answer 3

использует 'SET names=utf8' запрос во время вставки, проблема в том, при вводе (вставок), данные преобразуются в некоторые специальные символы.

поэтому, если вы используете это, данные, которые вы вводите на русском языке, те же данные будут добавлены и в базу данных. , и пока вы получите результат, вы получите тот же результат, что и вы.