Tensorflow: Извлечение особенностей обученной модели

Question

У меня есть реализация AlexNet. Я заинтересован в извлечении вектора признаков обученной модели до полностью связанных классификационных слоев

1. Я хочу первый поезд модели (ниже я включил методы оценки для обучения и тестирования).

2. Как получить список конечных выходных векторов (во время переднего прохода) для всех изображений в наборе обучения/теста, прежде чем они будут классифицированы?

Вот код (полная версия доступна https://github.com/aymericdamien/TensorFlow-Examples/blob/master/examples/3%20-%20Neural%20Networks/alexnet.py):

weights = { 
    'wc1': tf.Variable(tf.random_normal([3, 3, 1, 64])), 
    'wc2': tf.Variable(tf.random_normal([3, 3, 64, 128])), 
    'wc3': tf.Variable(tf.random_normal([3, 3, 128, 256])), 
    'wd1': tf.Variable(tf.random_normal([4*4*256, 1024])), 
    'wd2': tf.Variable(tf.random_normal([1024, 1024])), 
    'out': tf.Variable(tf.random_normal([1024, 10])) 
} 

biases = { 
    'bc1': tf.Variable(tf.random_normal([64])), 
    'bc2': tf.Variable(tf.random_normal([128])), 
    'bc3': tf.Variable(tf.random_normal([256])), 
    'bd1': tf.Variable(tf.random_normal([1024])), 
    'bd2': tf.Variable(tf.random_normal([1024])), 
    'out': tf.Variable(tf.random_normal([n_classes])) 
} 

def alex_net(_X, _weights, _biases, _dropout): 
    # Reshape input picture 


    _X = tf.reshape(_X, shape=[-1, 28, 28, 1]) 

    # Convolution Layer 
    conv1 = conv2d('conv1', _X, _weights['wc1'], _biases['bc1']) 
    # Max Pooling (down-sampling) 
    pool1 = max_pool('pool1', conv1, k=2) 
    # Apply Normalization 
    norm1 = norm('norm1', pool1, lsize=4) 
    # Apply Dropout 
    norm1 = tf.nn.dropout(norm1, _dropout) 

    # Convolution Layer 
    conv2 = conv2d('conv2', norm1, _weights['wc2'], _biases['bc2']) 
    ... 
    # right before feeding the fully connected, classification layers 
    # I'm interested in the vector after the weights 
    # are applied during the forward pass of a trained model. 
    dense1 = tf.reshape(norm3, [-1, _weights['wd1'].get_shape().as_list()[0]]) 
    # Relu activation 
    dense1 = tf.nn.relu(tf.matmul(dense1, _weights['wd1']) + _biases['bd1'], name='fc1') 

    # Relu activation 
    dense2 = tf.nn.relu(tf.matmul(dense1, _weights['wd2']) + _biases['bd2'], name='fc2') 

    # Output, class prediction 
    out = tf.matmul(dense2, _weights['out']) + _biases['out'] 
    return out 


pred = alex_net(x, weights, biases, keep_prob) 

cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(pred, y)) 
optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate).minimize(cost) 

# Evaluate model 
correct_pred = tf.equal(tf.argmax(pred,1), tf.argmax(y,1)) 
accuracy = tf.reduce_mean(tf.cast(correct_pred, tf.float32)) 

# Launch the graph 
with tf.Session() as sess: 
    sess.run(init) 
    step = 1 
    # Keep training until reach max iterations 
    summary_writer = tf.train.SummaryWriter('/tmp/tensorflow_logs', graph_def=sess.graph_def) 

    while step * batch_size < training_iters: 
     batch_xs, batch_ys = mnist.train.next_batch(batch_size) 
     # Fit training using batch data 
     sess.run(optimizer, feed_dict={x: batch_xs, y: batch_ys, keep_prob: dropout}) 
     if step % display_step == 0: 
      # Calculate batch accuracy 
      acc = sess.run(accuracy, feed_dict={x: batch_xs, y: batch_ys, keep_prob: 1.}) 
      # Calculate batch loss 
      loss = sess.run(cost, feed_dict={x: batch_xs, y: batch_ys, keep_prob: 1.}) 
      print "Iter " + str(step*batch_size) + ", Minibatch Loss= " \ 
        + "{:.6f}".format(loss) + ", Training Accuracy= " + "{:.5f}".format(acc) 
     step += 1 
    print "Optimization Finished!" 
    # Calculate accuracy for 256 mnist test images 
    print "Testing Accuracy:", sess.run(accuracy, feed_dict={x: mnist.test.images[:256], 
                  y: mnist.test.labels[:256], 
                  keep_prob: 1.}) 

Answer 1

Это звучит, как вы хотите, чтобы значение dense2 от alex_net()? Если да, то вам нужно будет вернуться, что с alex_net() в дополнение к, так что

return out 

становится

return dense2, out 

и

pred = alex_net(x, weights, biases, keep_prob) 

становится

before_classification_layer, pred = alex_net(...) 

Затем вы можете выбрать before_classification_layer, когда вызывая sess.run() всякий раз, когда вы хотите это значение. См. tf.Session.run в https://www.tensorflow.org/versions/0.6.0/api_docs/python/client.html#Session.run. Обратите внимание, что Fetches может быть список, поэтому, чтобы избежать оценки вашего графика дважды в вашем примере кода, вы можете сделать

# Calculate batch accuracy and loss 
acc, loss = sess.run([accuracy, cost], feed_dict={...}) 

вместо

# Calculate batch accuracy 
acc = sess.run(accuracy, feed_dict={...}) 
# Calculate batch loss 
loss = sess.run(cost, feed_dict={...}) 

(Добавление before_classification_layer к этому списку, когда это необходимо.)