Как использовать строковые данные для svm (smo) в weka

Question

У меня есть файл arff, содержащий некоторые предложения (персидский язык) и слово перед каждым предложением, которое показывает его класс в части @data. Мне нужно использовать smo для классификации. Вопросы:

1) Необходимо ли изменить предложения к векторам?

2) Я выбрал строку «string to word vector», но smo неактивен и по-прежнему не работает. (и, конечно, другие алгоритмы, такие как наивные заливы).

Как я могу использовать эти текстовые данные с помощью smo?

выше картина очень маленький образец файла.

образец файла: https://www.dropbox.com/s/ohpyortve8jbwhe/shoor.arff?dl=0

Answer 1

Во-первых, вам нужно применить "строку вектора слова" фильтра. После этого на вкладке «Классификация» вам нужно изменить целевой класс на «(Nom)». Этого достаточно, чтобы обеспечить наивные байки и алгоритмы SVM. Я загрузил набор данных, и он работал хорошо.

Вы можете читать этот учебник: https://www.youtube.com/watch?v=zlVJ2_N_Olo

Надеется, что это может помочь вам

from sklearn.feature_extraction.text import TfidfVectorizer 
import arff 
from sklearn import svm 
import numpy as np 
from sklearn.model_selection import train_test_split 

data=list(arff.load('shoor.arff')) 

text=[] 
label=[] 
for r in data: 
    if (len(r)>1): 
     text.append(r[0]) 
     label.append(r[1]) 
tfidf = TfidfVectorizer().fit_transform(text) 
features = (tfidf * tfidf.T).A 


X_train, X_test, y_train, y_test = train_test_split(features, label, test_size=0.5, random_state=0) 
clf = svm.SVC(kernel='linear', C=1).fit(X_train, y_train) 
clf.score(X_test, y_test) 

1,0