TensorFlow InvalidArgumentError: Matrix size-compatible: In [0]: [100,784], In [1]: [500,10]

Question

Я новичок в tensorflow и следую учебнику. Я получаю сообщение об ошибке, которая говорит:

InvalidArgumentError (see above for traceback): Matrix size-compatible: In[0]: [100,784], In[1]: [500,10] 
    [[Node: MatMul_3 = MatMul[T=DT_FLOAT, transpose_a=false, transpose_b=false, _device="/job:localhost/replica:0/task:0/cpu:0"](_recv_Placeholder_0, Variable_6/read)]] 

Вот мой код:

import tensorflow as tf 
from tensorflow.examples.tutorials.mnist import input_data 

mnist = input_data.read_data_sets("/tmp/data/", one_hot=True) 

n_nodes_hl1 = 500 
n_nodes_hl2 = 500 
n_nodes_hl3 = 500 

n_classes = 10 
batch_size = 100 

x = tf.placeholder('float') #this second parameter makes sure that the image fed in is 28*28 
y = tf.placeholder('float') 

def neural_network_model(data): 
    hidden_1_layer = {'weights':tf.Variable(tf.random_normal([784, n_nodes_hl1])), 'biases':tf.Variable(tf.random_normal([n_nodes_hl1]))} 
    hidden_2_layer = {'weights':tf.Variable(tf.random_normal([n_nodes_hl1, n_nodes_hl2])), 'biases':tf.Variable(tf.random_normal([n_nodes_hl2]))} 
    hidden_3_layer = {'weights':tf.Variable(tf.random_normal([n_nodes_hl2, n_nodes_hl3])), 'biases':tf.Variable(tf.random_normal([n_nodes_hl3]))} 
    output_layer = {'weights':tf.Variable(tf.random_normal([n_nodes_hl3, n_classes])), 'biases':tf.Variable(tf.random_normal([n_classes]))} 

    # input_data * weights + biases 
    l1 = tf.add(tf.matmul(data, hidden_1_layer['weights']), hidden_1_layer['biases']) 
    # activation function 
    l1 = tf.nn.relu(l1) 

    l2 = tf.add(tf.matmul(data, hidden_2_layer['weights']), hidden_2_layer['biases']) 
    l2 = tf.nn.relu(l2) 

    l3 = tf.add(tf.matmul(data, hidden_3_layer['weights']), hidden_3_layer['biases']) 
    l3 = tf.nn.relu(l3) 

    output = tf.matmul(data, output_layer['weights']) + output_layer['biases'] 
    return output 

def train_neural_network(x): 
    prediction = neural_network_model(x) 
    cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(prediction, y)) 
    #learning rate = 0.001 
    optimizer = tf.train.AdamOptimizer().minimize(cost) 
    hm_epochs = 10 
    with tf.Session() as sess: 
     sess.run(tf.initialize_all_variables()) 
     for epoch in range(hm_epochs): 
      epoch_loss = 0 
      for _ in range(int(mnist.train.num_examples/batch_size)): 
       epoch_x, epoch_y = mnist.train.next_batch(batch_size) 
       _, c = sess.run([optimizer, cost], feed_dict={x:epoch_x,y:epoch_y})//THIS IS THE LINE WHERE THE ERROR 0CCURS 
       epoch_loss += c 
      print 'Epoch ' + epoch + ' completed out of ' + hm_epoch + ' loss: ' + epoch_loss 
     correct = tf.equal(tf.argmax(prediction,1), tf.argmax(y,1)) 
     accuracy = tf.reduce_mean(tf.cast(correct, 'float')) 
     print 'Accuracy: ' + accuracy.eval({x:mnist.test.images, y:mnist.test.labels}) 

train_neural_network(x) 

я пометил строку, в которой произошла ошибка, что я делаю неправильно и как я могу это исправить?

Переполнение стека требует, чтобы я написал больше, он говорит, что информации недостаточно и слишком много. Я, честно говоря, недостаточно понимаю тензорный поток, чтобы добавить более подробную информацию. Я надеюсь, что кто-то может мне просто помочь. Я думаю, проблема в том, что optimizer и cost имеют разные размеры, но я не понимаю, почему и что я должен делать.

Answer 1

Одна ошибки лежит в этой строке

l2 = tf.add(tf.matmul(data, hidden_2_layer['weights']), hidden_2_layer['biases']) 

переменных Ваш второго вес имеют размеры 500 x 500, но переменная data подавались с данными 100x784 так умножение несовместимое. Сделать это,

l2 = tf.add(tf.matmul(l1, hidden_2_layer['weights']), hidden_2_layer['biases']) 

сделать также соответствующие изменения для l3 и output.

---

Всегда указывайте форму для заполнителя, как это,

x = tf.placeholder(tf.float32, shape=(None, 784)) 

Это позволит выявить такие ошибки при построении графика и TensorFlow будет в состоянии определить эти ошибки.