Проблемы с подбором словаря в scikit-learn?

Question

У меня есть каталог, полный .txt файлов (документов). Сначала я load документов и раздеть некоторые скобки и удалить некоторые цитаты, так что документы выглядят следующим образом, например:

document1: 
is a scientific discipline that explores the construction and study of algorithms that can learn from data Such algorithms operate by building a model 

document2: 
Machine learning can be considered a subfield of computer science and statistics It has strong ties to artificial intelligence and optimization which deliver methods 

Так я загружаю файлы из каталога, как это:

preprocessDocuments =[[' '.join(x) for x in sample[:-1]] for sample in load(directory)] 


documents = ''.join(i for i in ''.join(str(v) for v 
               in preprocessDocuments) if i not in "',()") 

Тогда я triying векторизовать document1 и document2 для того, чтобы создать учебную матрицу следующим образом:

from sklearn.feature_extraction.text import HashingVectorizer 
vectorizer = HashingVectorizer(analyzer='word') 
X = HashingVectorizer.fit_transform(documents) 
X.toarray() 

Тогда это выход:

raise ValueError("empty vocabulary; perhaps the documents only" 
ValueError: empty vocabulary; perhaps the documents only contain stop words 

Как создать векторное представление с учетом этого ?. Я думал, что загружал загруженные файлы в documents, но кажется, что документы не могут быть установлены.

Answer 1

Какое содержимое documents? It looks like предполагается, что он должен быть списком имен файлов или строк с токенами. Кроме того, вы должны вызывать fit_transform с помощью объекта, а не как статический метод, i. е. vectorizer.fit_transform(documents).

Например, это работает здесь:

from sklearn.feature_extraction.text import HashingVectorizer 
documents=['this is a test', 'another test'] 
vectorizer = HashingVectorizer(analyzer='word') 
X = vectorizer.fit_transform(documents)