Как определить язык введенного пользователем текста?

Question

Я имею дело с приложением, которое принимает ввод пользователя на разных языках (в настоящее время 3 языка фиксированы). Требование состоит в том, чтобы пользователи могли вводить текст и не беспокоиться, чтобы выбрать язык через предоставленный флажок в пользовательском интерфейсе.

Есть ли существующая библиотека Java для определения языка текста?

Я хочу что-то вроде этого:

text = "To be or not to be thats the question." 

// returns ISO 639 Alpha-2 code 
language = detect(text); 

print(language); 

результат:

EN 

Я не хочу знать, как создать детектор языка сам (я видел много блогов, пытаясь сделай это). Библиотека должна предоставить простой APi, а также работать полностью автономно. Открытое или коммерческое закрытое не имеет значения.

я также нашел эти вопросы на SO (и еще несколько):

How to detect language
How to detect language of text?

Answer 1

Вот два варианта

• LanguageIdentifier
• Rosette Language Identifier

Answer 2

Google предлагает API, который может сделать это для вас. Я только что наткнулся на это вчера и не сохранил ссылку, но если вы, ммм, Google, вам это удастся найти.

Это было где-то рядом с описанием их API перевода, который переведет текст для вас на любой язык, который вам нравится. Есть еще один вызов, чтобы угадать язык ввода.

Google является одним из мировых лидеров в области механического перевода; они основывают свои материалы на чрезвычайно больших корпусах текста (большая часть Интернета, своего рода) и статистическом подходе, который обычно «получает» это правильно просто благодаря наличию огромного пространства выборки.

EDIT: Вот ссылка: http://code.google.com/apis/ajaxlanguage/

EDIT 2: Если вы настаиваете на "автономном режиме": Хорошо upvoted ответ внушение Guess-Language. Это библиотека C++ и обрабатывает около 60 языков.

Answer 3

Альтернатива - JLangDetect, но она не очень надежная и имеет ограниченную языковую базу. Хорошо, что это лицензия Apache, если она удовлетворяет вашим требованиям, вы можете ее использовать. Я предполагаю здесь, но вы освобождаете пробел между событием одиночного и двойного прыжка? Версия 0.2 была выпущена here.

В версии 0.4 он очень прочный. Я использовал это во многих моих проектах и ​​никогда не испытывал серьезных проблем. Кроме того, когда дело доходит до скорости, это сопоставимо с очень специализированными языковыми детекторами (например, только на нескольких языках).

Answer 4

вот другой вариант: Language Detection Library for Java

это библиотека в Java.

Answer 5

Detect Language API также предоставляет Java client.

Пример:

List<Result> results = DetectLanguage.detect("Hello world"); 

Result result = results.get(0); 

System.out.println("Language: " + result.language); 
System.out.println("Is reliable: " + result.reliable); 
System.out.println("Confidence: " + result.confidence); 

Answer 6

Это должно дать Language Detection Library for Java точность более чем на 99% на 53 языках.

В качестве альтернативы существует библиотека для анализа контента, которая предлагает гораздо больше, чем просто определение языка.

Answer 7

Just a working code from already available solution from cybozu labs: 

package com.et.generate; 

import java.util.ArrayList; 
import com.cybozu.labs.langdetect.Detector; 
import com.cybozu.labs.langdetect.DetectorFactory; 
import com.cybozu.labs.langdetect.LangDetectException; 
import com.cybozu.labs.langdetect.Language; 

public class LanguageCodeDetection { 

    public void init(String profileDirectory) throws LangDetectException { 
     DetectorFactory.loadProfile(profileDirectory); 
    } 
    public String detect(String text) throws LangDetectException { 
     Detector detector = DetectorFactory.create(); 
     detector.append(text); 
     return detector.detect(); 
    } 
    public ArrayList<Language> detectLangs(String text) throws LangDetectException { 
     Detector detector = DetectorFactory.create(); 
     detector.append(text); 
     return detector.getProbabilities(); 
    } 
    public static void main(String args[]) { 
     try { 
      LanguageCodeDetection ld = new LanguageCodeDetection(); 

      String profileDirectory = "C:/profiles/"; 
      ld.init(profileDirectory); 
      String text = "Кремль россий"; 
      System.out.println(ld.detectLangs(text)); 
      System.out.println(ld.detect(text)); 
     } catch (LangDetectException e) { 
      e.printStackTrace(); 
     } 
    } 

} 

Output: 
[ru:0.9999983255911719] 
ru 

Профили можно скачать с сайта: https://language-detection.googlecode.com/files/langdetect-09-13-2011.zip