Что такое хорошая библиотека Java для тегов Part of-Speech?

Question

Я ищу хороший открытый исходный код POS Tagger в Java. Вот что я придумал до сих пор.

• LingPipe
• Stanford
• LBJ
• FastTag

Кто-нибудь есть какие-либо рекомендации?

Answer 1

Я использовал OpenNLP с хорошими результатами. Вы также можете посмотреть MorphAdorner.

Answer 2

Я использовал и LingPipe, и PST Tagger от Stanford. Позже это state-of-the-art POS Tagger, но, по моему опыту, он слишком медленный (хотя они предоставляют менее точные модели, которые достаточно быстрые). Конечно, это всегда зависит от того, чего вы пытаетесь достичь, и всегда будет компромисс между скоростью и точностью.

Я также когда-то использовал программное обеспечение NER на основе LBJ и, хотя оно было довольно точным, исходный код был полным беспорядком. Источник LingPipe и Stanford очень чист и хорошо документирован.

Вы также можете посмотреть LTAG-spinal. Я еще не использовал его, но из описания алгоритма и из приведенной точности он кажется лучше, чем альтернативы, которые у вас есть.

Надеюсь, это поможет.

Answer 3

Вы хотите пометить POS в определенном домене? Большинство тегов общего назначения проходят обучение по новостному тексту. Как правило, они плохо работают, когда вы используете их в определенных доменах (таких как биомедицинский текст). Существуют и другие тегеры, специально обученные для таких доменов, такие как dTagger (java) для биомедицинского текста.

Для текста с новостью, Adwait Ratnaparkhi's MXPOST очень хорош и является тем, который я бы рекомендовал.

Других реализаций Java включают в себя:

1. MontyLingua
2. Berkeley Parser (Не совсем POS Tagger, но все полные взорваны парсеры обычно включают в себя POS Taggers Google для Java синтаксических анализаторов и вы найдете много. .)
3. QTag
4. LBJ

OpenNLP и Lingpipe, как и другие плакаты, также довольно приличные.

Информация о состоянии дел по маркировке POS может быть найдена here. Как вы можете видеть, LTAG-Spinal (также упоминается еще одним плакатом) сейчас лучше, но вариации по различным меткам не так много. Я сам не использовал LTAG.

Также обратите внимание, что базовая производительность для маркировки POS составляет около 90%. Исходный уровень означает: (a) пометить каждое слово наиболее частого тега POS из лексикона и (b) пометить каждое неизвестное слово как существительное.