TensorFlow + Batch Gradient Descent: точность 0% для каждой партии, но сеть сходится?

Question

В настоящее время я очень начинаю с TensorFlow и Deep Learning в целом, и я пытался создать довольно простую двухслойную нейронную сеть с функцией активации ReLU для скрытого слоя и softmax для выходного слоя. В частности, я тренировался по известному набору данных notMNIST, который имеет ту же форму, что и MNIST, но с более трудными примерами. Это было, как я ее решил (с помощью TensorFlow v1.0.0):

batch_size = 128 
hidden_nodes = 1024 

graph = tf.Graph() 
with graph.as_default(): 
    tf_train_dataset = tf.placeholder(tf.float32, 
            shape=(batch_size, image_size * image_size)) 
    tf_train_labels = tf.placeholder(tf.float32, shape=(batch_size, num_labels)) 
    tf_valid_dataset = tf.constant(valid_dataset) 
    tf_test_dataset = tf.constant(test_dataset) 

    weights_ih = tf.Variable(tf.truncated_normal([image_size * image_size, hidden_nodes])) 
    biases_ih = tf.Variable(tf.ones([hidden_nodes])/10) 
    weights_ho = tf.Variable(tf.truncated_normal([hidden_nodes, num_labels])) 
    biases_ho = tf.Variable(tf.zeros([num_labels])) 

    logits = tf.matmul(tf_train_dataset, weights_ih) + biases_ih 
    hidden_layer_output = tf.nn.relu(logits) 

    output = tf.matmul(hidden_layer_output, weights_ho) + biases_ho 
    loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=output, labels=tf_train_labels)) 

    optimizer = tf.train.GradientDescentOptimizer(0.5).minimize(loss) 

    train_prediction = tf.nn.softmax(hidden_layer_output) 
    valid_prediction = tf.nn.softmax(tf.matmul(
     tf.nn.relu(tf.matmul(tf_valid_dataset, weights_ih) + biases_ih), 
        weights_ho) + biases_ho) 
    test_prediction = tf.nn.softmax(tf.matmul(
     tf.nn.relu(tf.matmul(tf_test_dataset, weights_ih) + biases_ih), 
        weights_ho) + biases_ho) 

С помощью простого бегуна в этой моде:

num_steps = 5000 

def accuracy(predictions, labels): 
    return (100.0 * np.sum(np.argmax(predictions, 1) == np.argmax(labels, 1))/predictions.shape[0]) 

with tf.Session(graph=graph) as sess: 
    tf.global_variables_initializer().run() 
    print("Initialized") 
    for step in range(num_steps): 
     offset = (step * batch_size) % (train_labels.shape[0] - batch_size) 
     batch_data = train_dataset[offset:(offset + batch_size), :] 
     batch_labels = train_labels[offset:(offset + batch_size), :] 
     feed_dict = {tf_train_dataset: batch_data, tf_train_labels: batch_labels} 
     _, l, predictions =\ 
      sess.run([optimizer, loss, train_prediction], feed_dict=feed_dict) 
     if (step % 500 == 0): 
      print("Minibatch loss at step %d: %f" % (step, l)) 
      print("Minibatch accuracy: %.1f%%" % accuracy(predictions, batch_labels)) 
      print("Validation accuracy: %.1f%%" % accuracy(valid_prediction.eval(), 
                  valid_labels)) 
    print("Test accuracy: %.1f%%" % accuracy(test_prediction.eval(), test_labels)) 

я получаю эти результаты:

Initialized 
Minibatch loss at step 0: 281.805603 
Minibatch accuracy: 0.0% 
Validation accuracy: 21.9% 
Minibatch loss at step 500: 18.725670 
Minibatch accuracy: 0.0% 
Validation accuracy: 81.0% 
Minibatch loss at step 1000: 13.720121 
Minibatch accuracy: 0.0% 
Validation accuracy: 81.2% 
Minibatch loss at step 1500: 16.521467 
Minibatch accuracy: 0.0% 
Validation accuracy: 81.3% 
Minibatch loss at step 2000: 4.905802 
Minibatch accuracy: 0.0% 
Validation accuracy: 80.7% 
Minibatch loss at step 2500: 1.040669 
Minibatch accuracy: 0.0% 
Validation accuracy: 82.4% 
Minibatch loss at step 3000: 2.731811 
Minibatch accuracy: 0.0% 
Validation accuracy: 80.6% 
Minibatch loss at step 3500: 1.011298 
Minibatch accuracy: 0.0% 
Validation accuracy: 81.9% 
Minibatch loss at step 4000: 1.432833 
Minibatch accuracy: 0.0% 
Validation accuracy: 82.7% 
Minibatch loss at step 4500: 0.934623 
Minibatch accuracy: 0.0% 
Validation accuracy: 82.5% 
Test accuracy: 89.6% 

Как можно увидеть , точность микроавтобуса всегда0%, но потери в мини-баре снижаются, и точность проверки идет u п. Кажется, модель «работает», но я думаю, что происходит что-то еще, что указывает на большую проблему. Внезапный прыжок после 500 эпох также вызывает подозрение. Поскольку у меня нет большой интуиции для этого, я пробовал различные поверхностные вещи, такие как изменение скорости обучения и размера партии, но они ничего не делали с этой постоянной точностью 0%.

Было бы очень признательно, если бы кто-то более опытный в TensorFlow мог сказать мне, что может быть причиной этого, поэтому я могу научиться избегать этого в будущем.

Заранее благодарен!

Answer 1

Попробуйте

train_prediction = tf.nn.softmax(output) 

вместо

train_prediction = tf.nn.softmax(hidden_layer_output) 

и он должен работать.

Кстати: я бы не вызвал логит, что вы назвали логитами. Ваши выходы будут называться логитами, но это просто проблема с именами ...