Как я могу обучить NLP Splitter

Question

Пожалуйста, дайте мне указания: Как я могу «научить» сплиттер разбивать такой абзац: Бумага 7 см. длина. Что такое имя художника? размер изображения составляет 5 см. х 8 см. на 3 части. и не до 5 частей по умолчанию: 1) Бумага 7 см. 2) длина. 3) Что такое имя художника? 4) размер изображения 5 см. 5) x 8 см. Спасибо, Aryeh.

Answer 1

Этот токенизатор полностью основан на правилах, поэтому вы можете добавить к нему пользовательские аббревиатуры. Вам нужно будет отредактировать PTBLexer.flex и перекомпилировать его, используя JFlex.

См. Также "stanford corenlp, splitting sentences, abbreviation exceptions".