Построение китайско-английского словаря - как определить, какие символы образуют слова?

Question

Я пытаюсь создать приложение в Rails, которое поможет пользователям читать китайский текст. Если пользователь нажимает на китайский символ, они получат информацию о произношении и значении.

Я получил это для работы с использованием базы данных китайско-английского словаря. Тем не менее, я не уверен, как определить, является ли персонажем только один символ или часть более длинного слова. Например: у меня есть текст 我是铁公鸡, и пользователь нажимает на слово 公, что означает «общедоступный», но приложение должно показывать выделение 铁公鸡 как «скряга». Таким образом, персонаж может быть автономным или создавать слова с другими персонажами.

Что такое эффективный способ определения того, что слово образует персонаж? Я думал о проверке целевого символа и его соседей против базы данных и выборе самой длинной комбинации, которую можно найти. Любые другие идеи?

Answer 1

Метод, который я использую в pin1yin1.com, состоит в том, чтобы начать с первого символа, найти самую длинную строку символов, которая существует в словаре (я использую CEDICT), затем называть это слово и начинать со следующего символа. Это имитирует последовательный способ, которым мы читаем или слышим слова, и на практике это имеет тенденцию делать это правильно.

Это также легко сделать с помощью стандартного индекса, так как вы можете быстро получить все записи, начиная с символа или двух, а затем прокрутите их, ища самое длинное совпадение. Для вашего приложения я бы рекомендовал создать резервную копию 10 или 20 символов, а затем определить слова последовательно так, как я делаю, пока вы не найдете слово, содержащее выбранный символ.

Answer 2

Этот парень, кажется, понял это http://www.sitepoint.com/efficient-chinese-search-elasticsearch/ Он использует Elasticsearch и некоторый плагин для азиатских языков.

Answer 3

Вам нужен китайский сегментист. Существует много типов китайских сегментов, включая HMM (метод Hidden-Markov), CRF (условные случайные поля), MM (максимальное совпадение) сегментации (pdg137 использует сегментацию MM). Если вы ищете китайскую сегментацию, вы можете найти программы с открытым исходным кодом, которые используют эти различные стратегии.

Вы должны зарегистрироваться Stanford's Chinese segmentation tool. Это хорошо сделано в сегментационных соревнованиях.

Кстати, я уже создал a website, который делает то, что вы описываете.