scikit узнать: Проблемы задаваемого пользователем CountVectorizer и ChiSquare

Question

У меня есть следующий код (на основе образцов here), но он не работает:

[...] 
def my_analyzer(s): 
    return s.split() 
my_vectorizer = CountVectorizer(analyzer=my_analyzer) 
X_train = my_vectorizer.fit_transform(traindata) 

ch2 = SelectKBest(chi2,k=1) 
X_train = ch2.fit_transform(X_train,Y_train) 
[...] 

Следующая ошибка задается при вызове fit_transform:

AttributeError: 'function' object has no attribute 'analyze' 

Согласно документации, CountVectorizer должен быть создан следующим образом: vectorizer = CountVectorizer(tokenizer=my_tokenizer). Однако, если я это сделаю, я получаю следующую ошибку: "got an unexpected keyword argument 'tokenizer'".

Моя фактическая версия scikit-learn составляет 0,10.

Answer 1

Вы смотрите документацию на 0.11 (скоро будет выпущена), где векторизатор был капитально отремонтирован. Проверьте documentation for 0.10, где нет tokenizer аргумента и analyzer должен быть объектом реализации analyze метода:

class MyAnalyzer(object): 
    @staticmethod 
    def analyze(s): 
     return s.split() 

v = CountVectorizer(analyzer=MyAnalyzer()) 

http://scikit-learn.org/dev документация для предстоящего выпуска (который может измениться в любое время), в то время как http://scikit-learn/stable имеет документация для текущей стабильной версии.