Tensorflow и нарезание резьб

Question

Ниже приведен простой mnist учебник (т.е. один слой SoftMax) с сайта Tensorflow, который я пытался расширить с многопоточной шаг обучения:

from tensorflow.examples.tutorials.mnist import input_data 
import tensorflow as tf 
import threading 

# Training loop executed in each thread 
def training_func(): 
    while True: 
     batch = mnist.train.next_batch(100) 
     global_step_val,_ = sess.run([global_step, train_step], feed_dict={x: batch[0], y_: batch[1]}) 
     print("global step: %d" % global_step_val) 
     if global_step_val >= 4000: 
     break 

# create session and graph 
sess = tf.Session() 

x = tf.placeholder(tf.float32, shape=[None, 784]) 
y_ = tf.placeholder(tf.float32, shape=[None, 10]) 

W = tf.Variable(tf.zeros([784,10])) 
b = tf.Variable(tf.zeros([10])) 
global_step = tf.Variable(0, name="global_step") 
y = tf.matmul(x,W) + b 

cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(y, y_)) 

inc = global_step.assign_add(1) 
with tf.control_dependencies([inc]): 
    train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy) 

correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1)) 
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32)) 

# initialize graph and create mnist loader 
sess.run(tf.global_variables_initializer()) 
mnist = input_data.read_data_sets('MNIST_data', one_hot=True) 

# create workers and execute threads 
workers = [] 
for _ in range(8): 
    t = threading.Thread(target=training_func) 
    t.start() 
    workers.append(t) 

for t in workers: 
    t.join() 

# evaluate accuracy of the model 
print(accuracy.eval(feed_dict={x: mnist.test.images, y_: mnist.test.labels}, 
    session=sess)) 

Я должен что-то отсутствует, поскольку 8, как ниже, дают непоследовательные результаты (точность около 0,1), когда с 1 нитью получается только ожидаемая точность (около 0,92). Кто-нибудь знает о моей ошибке? Благодаря!

Answer 1

Обратите внимание: к сожалению, threading с python не создает реальный параллелизм из-за GIL. Итак, что происходит здесь, так это то, что у вас будет несколько потоков, которые все работают на одном процессоре, где на самом деле они работают последовательно. Поэтому я бы предложил использовать координатор в Tensorflow. Более подробная информации о координаторе можно найти здесь:

https://www.tensorflow.org/programmers_guide/threading_and_queues
https://www.tensorflow.org/programmers_guide/reading_data

Наконец, я хотел бы предложить вам сказать:

with tf.device('/cpu:0'): 
    your code should go here... 'for the first thread' 

Затем использовать другой процессор для других потоков и так далее ... Надеюсь, что этот ответ найдет вас хорошо!