Keras - Текстовая классификация - LSTM - Как ввести текст?

Question

Im пытается понять, как использовать LSTM, чтобы классифицировать определенный набор данных, который у меня есть.

я исследовал и нашел этот пример keras и IMDB: https://github.com/fchollet/keras/blob/master/examples/imdb_lstm.py

Однако им путать о том, что набор данных должны быть обработаны для ввода.

Я знаю, что keras имеет предварительную обработку текстовых методов, но я не уверен, что использовать.

x содержит n строк с текстами, а y классифицирует текст по счастью/печали. В принципе, 1.0 означает, что 100% счастливы, а 0.0 означает совершенно грустно. цифры могут меняться, например, 0,25 ~~ и так далее.

Так что мой вопрос: как правильно ввести x и y? Должен ли я использовать сумку слов? Любой отзыв оценен!

я закодирован это ниже, но я постоянно получаю ту же ошибку, #('Bad input argument to theano function with name ... at index 1(0-based)', 'could not convert string to float: negative')

import keras.preprocessing.text 
import numpy as np 

np.random.seed(1337) # for reproducibility 

from keras.preprocessing import sequence 
from keras.models import Sequential 
from keras.layers.core import Dense, Activation 
from keras.layers.embeddings import Embedding 
from keras.layers.recurrent import LSTM 

print('Loading data...') 
import pandas 

thedata = pandas.read_csv("dataset/text.csv", sep=', ', delimiter=',', header='infer', names=None) 

x = thedata['text'] 
y = thedata['sentiment'] 

x = x.iloc[:].values 
y = y.iloc[:].values 

################################### 
tk = keras.preprocessing.text.Tokenizer(nb_words=2000, filters=keras.preprocessing.text.base_filter(), lower=True, split=" ") 
tk.fit_on_texts(x) 

x = tk.texts_to_sequences(x) 


################################### 
max_len = 80 
print "max_len ", max_len 
print('Pad sequences (samples x time)') 

x = sequence.pad_sequences(x, maxlen=max_len) 

######################### 
max_features = 20000 
model = Sequential() 
print('Build model...') 

model = Sequential() 
model.add(Embedding(max_features, 128, input_length=max_len, dropout=0.2)) 
model.add(LSTM(128, dropout_W=0.2, dropout_U=0.2)) 
model.add(Dense(1)) 
model.add(Activation('sigmoid')) 

model.compile(loss='binary_crossentropy', optimizer='rmsprop') 

model.fit(x, y=y, batch_size=200, nb_epoch=1, verbose=1, validation_split=0.2, show_accuracy=True, shuffle=True) 

# at index 1(0-based)', 'could not convert string to float: negative') 

Answer 1

Обзора, как вы используете ваш CSV парсер читать текст. Убедитесь, что поля находятся в текстовом формате, настроения если вы хотите использовать синтаксический анализатор, как вы его написали в своем коде.