Названы Распознавание объектов данных и функции

Question

Я строй именованного объекта распознаватель с условным случайным полем, и я ищу две вещей:

А) с открытым исходным кодом, английский ИЙ набором данных для Person, местоположения, и лица организаций

B) список английского НЭКЕ особенность

Я уже посмотрел на корпусе CoNLL-2003 и нашел, что это именно то, что я хочу, но это не так легко доступно. Мне не удалось найти список функций NER; Я стараюсь избегать придания дизайна этим функциям.

Благодаря

Answer 1

A) Помимо корпусов MUC вы должны проверить вручную аннотированный суб-корпус здесь: http://www.americannationalcorpus.org/MASC/About.html Это бесплатно и имеет различные жанры документов. Он поставляется с инструментами для разбора формата в NLTK, GATE и UIMA: http://www.anc.org/MASC/Download

B) Это очень общий вопрос. Вы можете попробовать n-граммы, капитализацию слов, используя словарные строки как функции, части речи, и т.д. Вы можете начать с чтения о парсере подходе Стэнфордского с ХПНОМ: http://nlp.stanford.edu/software/CRF-NER.shtml

Answer 2

Вы найдете обобщенное и очень информативное исследование того, что необходимо для НЭКЕ в this paper от Ратинов & Roth. Кроме того, их система полностью с открытым исходным кодом и включает списки названных объектов, собранных из Википедии.