Оценка точности прогноза модели NB

Question

Что я делаю неправильно с использованием scikit-learn от nltk, чтобы проверить точность наивного классификатора заливов?

...readFile definition not needed 
#divide the data into training and testing sets 
data = readFile('Data_test/') 
training_set = list_nltk[:2000000] 
testing_set = list_nltk[2000000:] 

#applied Bag of words as a way to select and extract feature 
count_vect = CountVectorizer() 
X_train_counts = count_vect.fit_transform(training_set.split('\n')) 

#apply tfd 
tf_transformer = TfidfTransformer(use_idf=False).fit(X_train_counts) 
X_train_tf = tf_transformer.transform(X_train_counts) 

#Train the data 
clf = MultinomialNB().fit(X_train_tf, training_set.split('\n')) 

#now test the accuracy of the naive bayes classifier 
test_data_features = count_vect.transform(testing_set) 
X_new_tfidf = tf_transformer.transform(test_data_features) 

predicted = clf.predict(X_new_tfidf) 
print "%.3f" % nltk.classify.accuracy(clf, predicted) 

Проблема заключается в том, когда я напечатать nltk.classify.accuracy, она принимает навсегда, и я подозревал это, потому что я сделал что-то неправильно, но так как я не получаю ошибку, я не могу понять, что это это неправильно.

Answer 1

Используйте вместо этого accuracy_scoresklearn metrics.

>>> from sklearn.metrics import accuracy_score 
>>> y_pred = [0, 2, 1, 3] 
>>> y_true = [0, 1, 2, 3] 
>>> accuracy_score(y_true, y_pred) 
0.5 

Я думаю, что вы смешаете некоторые вещи о Управленческом обучении.
Посмотрите answer и попытайтесь понять, что такое top of this page.

Ваши данные должны быть в такой форме (перед выполнением векторизации):

X = [["The cat is sleeping"], ..., ["The man is dead"]] 
Y = [1, ..., 0] 

Answer 2

Вы имеете ошибку по крайней мере, в этой строке

CLF = MultinomialNB() подходит (X_train_tf, training_set.. split ('\ n'))

Вы должны иметь свои обучающие наклейки и векторизованные данные там, но у вас есть оригинальные и векторизованные данные.

Он должен выглядеть следующим образом:.

CLF = MultinomialNB() подходит (X_train_tf, y_train)

Но вы даже не имеют данных лейбла y_train в любом месте вашего кода, насколько я могу сказать ,