Как я могу векторизовать следующий список списков с помощью scikit?

Question

Хотелось бы в числе прочего scikit узнать список, у кого есть списки. Я иду на путь, где у меня есть учебные тексты, я читал их, а затем я получаю что-то вроде этого:

corpus = [["this is spam, 'SPAM'"],["this is ham, 'HAM'"],["this is nothing, 'NOTHING'"]] 

from sklearn.feature_extraction.text import CountVectorizer 
vect = CountVectorizer(analyzer='word') 
vect_representation= vect.fit_transform(corpus) 
print vect_representation.toarray() 

И я получаю следующее:

return lambda x: strip_accents(x.lower()) 
AttributeError: 'list' object has no attribute 'lower' 

Также проблема с этим являются метки в конце каждого документа, как мне обращаться с ними, чтобы сделать правильную классификацию ?.

Answer 1

Прежде всего, вы должны отделять ярлыки от текстов. Если вы хотите использовать CountVectorizer вы должны преобразовать ваши тексты один за другим:

corpus = [["this is spam, 'SPAM'"],["this is ham, 'HAM'"],["this is nothing, 'NOTHING'"]] 
from sklearn.feature_extraction.text import CountVectorizer 
... split labels from texts 
vect = CountVectorizer(analyzer='word') 
vect_representation= map(vect.fit_transform,corpus) 
... 

В качестве другого варианта можно использовать TfidfVectorizer со списком списков непосредственно.

Answer 2

Для каждого в будущем это решить мою проблему:

corpus = [["this is spam, 'SPAM'"],["this is ham, 'HAM'"],["this is nothing, 'NOTHING'"]] 

from sklearn.feature_extraction.text import CountVectorizer 
bag_of_words = CountVectorizer(tokenizer=lambda doc: doc, lowercase=False).fit_transform(splited_labels_from_corpus) 

И это выход, когда я использую .toarray() функцию:

[[0 0 1] 
[1 0 0] 
[0 1 0]] 

Спасибо, ребята