Классификация новых документов после cross_val_predict

Question

У меня есть образец из примерно 10 000 твитов, которые я хочу классифицировать в категории «релевантные» и «не имеющие отношения к делу». Я использую Python scikit-learn для этой модели. Я вручную закодировал 1000 твитов как «релевантных» или «не имеющих значения». Затем я запустил SVM-модель, используя 80% данных с ручным кодированием в качестве данных обучения, а остальные - в качестве тестовых данных. Я получил хорошие результаты (точность предсказания ~ 0.90), но чтобы избежать переобучения, я решил использовать кросс-валидацию для всех 1000 твитов, закодированных вручную.

Ниже приведен мой код после получения матрицы tf-idf для твитов в моем примере. «target» - это массив, указывающий, был ли твит обозначен как «релевантный» или «не релевантный».

from sklearn.linear_model import SGDClassifier 
from sklearn.model_selection import cross_val_score 
from sklearn.model_selection import cross_val_predict 

clf = SGDClassifier() 
scores = cross_val_score(clf, X_tfidf, target, cv=10) 
predicted = cross_val_predict(clf, X_tfidf, target, cv=10) 

С помощью этого кода я был в состоянии получить предсказание о том, что классах в 1000 твитов принадлежали, и я мог бы сравнить, что против моего ручного кодирования.

Я застрял в том, что делать дальше, чтобы использовать мою модель для классификации других ~ 9000 твитов, которые я не вручную кодировал. Я думал снова использовать cross_val_predict, но я не уверен, что включить третий аргумент, поскольку класс - это то, что я пытаюсь предсказать.

Спасибо за вашу помощь заранее!

Answer 1

cross_val_predict is не метод фактически получить прогнозы от модели. Кросс-валидация - это метод выбора/оценки модели, нет до поезд модель. cross_val_predict - очень специфическая функция (которая дает вам прогнозы многих моделей, прошедших обучение во время процедуры перекрестной проверки). Для фактического построения модели yu должны использовать для установки модели для обучения вашей модели и предскажите, чтобы получить прогноз. Здесь нет перекрестной проверки - как было сказано ранее - это для выбора модели (для выбора вашего классификатора, гиперпараметров и т. Д.), А не для обучения реальной модели.