Что такое chunker в обработке естественного языка?

Question

Кто-нибудь знает, что такое chunker в контексте обработки текста и что это за использование?

Answer 1

В соответствии с these slides chunking является альтернативой синтаксическому анализу, который обеспечивает частичную синтаксическую структуру предложения с ограниченной глубиной дерева, а не полной для синтаксического анализа.

Он более ограничен, чем полный синтаксический анализ, но достаточно, когда дело доходит до извлечения или игнорирования информации и поэтому используется много раз, поскольку оно быстрее и надежнее, чем синтаксический анализ.

В слайдах имеется гораздо больше информации.

Дополнительные ссылки:

• More slides
• Notes from lectures at NYU

Answer 2

Это очень упрощенно тип синтаксического анализа, называется shallow parsing. В проекте OpenNLP имеется доступный модуль chunker, и вы можете увидеть его documentation для примера фрагментации в действии

Answer 3

Я лично не согласен с другими ответами, но Juraksky & Martin дает немного другое определение. Для них фрагментация - это, в частности, тип мелкого разбора, в котором нет рекурсивных фраз.

Одним из примеров, которые они дают, является фраза «полет из Денвера». Один синтаксический разбор, который будет не, будет генерироваться чанкером: «[NP полет [PP из [NP Denver]]]», потому что он подразумевает грамматику с NP-рекурсией.