Как определить имена людей в тексте (Java)

Question

У меня есть текст ввода, содержащий одно или несколько человеческих имен. У меня нет словарей для этих имен. Какая библиотека Java может помочь мне определить имена из моего входного текста? Я просмотрел OpenNLP, но не нашел ни одного примера или руководства или хотя бы описания того, как он может быть применен в моем коде. (Я видел javadoc, но это довольно плохая документация для такого проекта.)

Я хочу найти имена из какого-то случайного текста. Если входной текст «Мой друг Джо Смит пошел в магазин», то я хочу получить «Джо Смит». Я думаю, что на умных машинах должно быть достаточно много словарей, основанных на меньших словарях, которые могут понять человеческие имена.

Answer 1

Я бы заглянул в LingPipe. Выезд this demo. Кстати, то, что вы пытаетесь сделать, называется «named entity recognition». Это сложная проблема с CS, чтобы справиться.

Answer 2

Пока мы ждем подробностей о том, что вы делаете, вот несколько ссылок на списки общих имен, по крайней мере, в США демографических:

• http://names.mongabay.com/male_names_alpha.htm
• http://names.mongabay.com/female_names.htm

Думаю, вам понадобятся эти (и/или более), чтобы проверить, поскольку ваша задача не похожа на что-то, что НЛП может сделать для вас без справочной информации.

Answer 3

Вы также можете просмотреть OpenCyc и WordNet проекты как более интересные из семантической точки зрения.

Answer 4

OpenNLP имеет Именованное распознавание сущности. Проверьте раздел English Name Finding в документах. Но мой опыт подсказывает, что он идентифицирует объекты, но с ним не связаны теги. (Если быть точным, я обнаружил, что теги неоднозначно назначены.) Итак, если у вас есть предложение «Мой друг Джо Смит отправился в магазин Walmart», OpenNLP идентифицирует два названных объекта - «Джо Смит» и «Walmart». Я не мог получить его как «Джо Смит» как Человек и «Walmart» как Организация.

Как предложил Мэтт, вы можете попробовать LingPipe, хотя это коммерческий инструмент. Некоторые альтернативы с открытым исходным кодом - MorphAdorner и Stanford NER.

Answer 5

Вы можете проверить извлечение Person из свободного текста здесь http://code.google.com/p/graph-expression/wiki/Examples

Answer 6

OpenNLP имеет тип человека в их ЯЭР модели. загрузите проект и модели с сайта opennlp и получите модели с веб-сайта моделей (есть ссылка на странице Opennlp). Затем перейдите сюда, http://www.asksunny.com/drupal/?q=node/4, это хороший пример того, как загрузить модели и выполнить NER. NER никогда не бывает совершенным, поэтому не разочаровывайтесь.

Answer 7

Эта проблема решается при распознавании имени объекта в обработке на естественном языке, и в настоящий момент это считается немного сложной проблемой. Однако есть много инструментов, которые вы можете использовать для этого. Я использовал stanford NER для этого, и это хорошее программное обеспечение.

Answer 8

Я предлагаю вам использовать stanford Name Entity Recognizer (NER). Stanford NER предоставляет множество классификаторов. Один из классификаторов, предоставляемый stanford NER, может идентифицировать имя, местоположение и организацию из заданного текста.

Вы можете найти онлайн демо-версию для Стэнфорде НЭК в этой ссылке http://nlp.stanford.edu:8080/ner/

Answer 9

служба OpenCalais может быть полезным. Попробуйте подать заявку на: http://www.opencalais.com/documentation/calais-submission-tool

Этот инструмент распознает гораздо больше, чем просто имена людей.

Answer 10

Попробуйте Stanford ЯЭР, библиотека обработки текста

http://nlp.stanford.edu:8080/ner/