NLTK MaxentClassifier поезд с отрицательными случаями

Question

Я новичок в библиотеке nltk, и я стараюсь научить мой классификатор некоторым ярлыкам своим собственным корпусом.

Для этого у меня есть файл с тегами IOB, как это:

How O 
do B-MYTag 
you I-MYTag 
know O 
, O 
where B-MYTag 
to O 
park O 
? O 

(PS Это только составил образец ...)

Я делаю это

self.classifier = nltk.MaxentClassifier.train(train_set, algorithm='megam', trace=0) 

и он работает.

Мой вопрос заключается в том, как обучать мой classifier с отрицательными случаями. Итак, у меня был бы похожий файл с тегами IOB, и я бы указал, что этот файл установлен неправильно. (Отрицательные веса)

Как это сделать?

---

EDIT:

Пример отрицательного случая будет:

How B-MYTag 
do O 
you O 
know O 
, O 
where B-MYTag 
to O 
park O 
? O 

После этого, я надеюсь, помнить, что как это, вероятно, не MyTag ... Причина этого заключается в том , чтобы узнать быстрее. Если бы я мог просто набирать инструкции, программа обрабатывала бы его и в конце спрашивала меня, удовлетворен ли я результатом. Если да, то этот текст будет добавлен в train_set, если бы он не был добавлен в negative_train_set. Таким образом, было бы легче и быстрее научить классификатора правильному делу.

Answer 1

Я предполагаю, что вы попробовали классификатор, увидели некоторые ошибки в результатах и ​​хотите вернуть неправильные выходы в качестве дополнительного ввода для обучения. Существуют алгоритмы обучения, которые оптимизируют, на основе которых ответы неверны или правильны (нейронные сети, правила Брилла), но классификатор MaxEnt не является одним из них. Классификаторы, которые работают таким образом, выполняют всю работу внутри: они помещают данные обучения, сравнивают результат с золотым стандартом, соответственно корректируют их веса или правила и повторяют снова и снова.

Вкратце: вы не можете использовать неправильные выходы в качестве набора учебных материалов. Идея даже не подходит для модели машинного обучения, поскольку данные обучения по предположению корректны, поэтому неверные входы имеют вероятность нуля. Сосредоточьтесь на улучшении вашего классификатора, используя лучшие функции, больше данных или другой движок.