протягивал обучение и набор проверки в gridsearchcv sklearn

Question

Я вижу, что в gridsearchcv лучшие параметры определяются на основе cross-validation, но то, что я действительно хочу сделать, это определить лучшие параметры на основе one held out validation set вместо cross validation.

Не уверен, есть ли способ сделать это. Я нашел несколько подобных сообщений, где настраивается cross-validation folds. Однако снова мне действительно нужно тренироваться на одном наборе и проверять параметры в наборе валидации.

Дополнительная информация о моем наборе данных - это, в основном, text series type создатель: panda.

Answer 1

я пришел с ответом на мой собственный вопрос посредством использования PredefinedSplit

for i in range(len(doc_train)-1): 
    train_ind[i] = -1 

for i in range(len(doc_val)-1): 
    val_ind[i] = 0 

ps = PredefinedSplit(test_fold=np.concatenate((train_ind,val_ind))) 

, а затем в аргументах gridsearchCV

grid_search = GridSearchCV(pipeline, parameters, n_jobs=7, verbose=1 , cv=ps)