Непрерывная логистическая регрессия Tensorflow не работает

Question

Я пытаюсь создать программу, которая будет классифицировать точку как 1 или 0 с использованием Tensorflow. Я пытаюсь создать овальную форму вокруг центра этого участка, где синие точки:

Все в овале должно быть классифицировано как 1, все остальное должно быть 0. На графике выше синие точки: 1 s, а красные x - 0 s.

Однако, каждый раз, когда я пытаюсь классифицировать точку, она всегда гласит 1, даже если бы это была точка, с которой я ее тренировал, заявив, что это 0.

Мой вопрос прост: почему угадай всегда 1, и что я делаю неправильно или должен поступить иначе, чтобы исправить эту проблему? Это моя первая проблема машинного обучения, которую я пробовал без учебника, поэтому я действительно мало знаю об этом.

Я буду благодарен за любую помощь, которую вы можете дать, спасибо!

Вот мой код:

#!/usr/bin/env python3 

import tensorflow as tf 
import numpy 
import matplotlib.pyplot as plt 

training_in = numpy.array([[0, 0], [1, 1], [2, 0], [-2, 0], [-1, -1], [-1, 1], [-1.5, 1], [3, 3], [3, 0], [-3, 0], [0, -3], [-1, 3], [1, -2], [-2, -1.5]]) 
training_out = numpy.array([1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0]) 

def transform_data(x): 
    return [x[0], x[1], x[0]**2, x[1]**2, x[0]*x[1]] 

new_training_in = numpy.apply_along_axis(transform_data, 1, training_in) 

feature_count = new_training_in.shape[1] 

x = tf.placeholder(tf.float32, [None, feature_count]) 
y = tf.placeholder(tf.float32, [None, 1]) 

W = tf.Variable(tf.zeros([feature_count, 1])) 
b = tf.Variable(tf.zeros([1])) 

guess = tf.nn.softmax(tf.matmul(x, W) + b) 

cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(tf.matmul(x, W) + b, y)) 

opti = tf.train.GradientDescentOptimizer(0.01).minimize(cost) 

init = tf.initialize_all_variables() 
sess = tf.Session() 
sess.run(init) 

for i in range(1000): 
    for (item_x, item_y) in zip(new_training_in, training_out): 
     sess.run(opti, feed_dict={ x: [item_x], y: [[item_y]]}) 

print(sess.run(W)) 
print(sess.run(b)) 

plt.plot(training_in[:6, 0], training_in[:6, 1], 'bo') 
plt.plot(training_in[6:, 0], training_in[6:, 1], 'rx') 

results = sess.run(guess, feed_dict={ x: new_training_in }) 

for i in range(training_in.shape[0]): 
    xx = [training_in[i:,0]] 
    yy = [training_in[i:,1]] 
    res = results[i] 

    # this always prints `[ 1.]` 
    print(res) 

    # uncomment these lines to see the guesses 
    # if res[0] == 0: 
    #  plt.plot(xx, yy, 'c+') 
    # else: 
    #  plt.plot(xx, yy, 'g+') 

plt.show() 

Answer 1

Проблема возникает при использовании softmax_cross_entropy_with_logits. В вашем конкретном случае оба logits и labels должны иметь форму [batch_size, number_of_labels=2].

Обратите внимание, что ваши тензоры logits=tf.matmul(x, W) + b и labels=y имеют форму [batch_size, 1], так Tensorflow при условии, что number_of_labels=1. Вот почему ваша догадка всегда одна и та же.

A) Вы можете решить эту проблему, закодировав training_out как горячий вектор. Я рекомендую использовать np.eye() для достижения этого:

training_out = [1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0] 
training_out = numpy.eye(2)[training_out] 

Затем вам нужно будет сделать следующие изменения:

y = tf.placeholder(tf.float32, [None, 2]) 
W = tf.Variable(tf.zeros([feature_count, 2])) 
b = tf.Variable(tf.zeros([2])) 
... 
for i in range(1000): 
    for (item_x, item_y) in zip(new_training_in, training_out): 
     sess.run(opti, feed_dict={x: [item_x], y: [item_y]}) 
... 
results = sess.run(guess, feed_dict={x: new_training_in})[:,1] 

B) В качестве альтернативы можно использовать sparse_softmax_cross_entropy_with_logits, что позволяет labels иметь форму [batch_size]. Я изменил ваш код, чтобы он работал таким образом:

import tensorflow as tf 
import numpy 
import matplotlib.pyplot as plt 

training_in = numpy.array(
    [[0, 0], [1, 1], [2, 0], [-2, 0], [-1, -1], [-1, 1], [-1.5, 1], [3, 3], [3, 0], [-3, 0], [0, -3], [-1, 3], [1, -2], 
    [-2, -1.5]]) 
training_out = numpy.array([1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0]) 

def transform_data(x): 
    return [x[0], x[1], x[0] ** 2, x[1] ** 2, x[0] * x[1]] 

new_training_in = numpy.apply_along_axis(transform_data, 1, training_in) 

feature_count = new_training_in.shape[1] 

x = tf.placeholder(tf.float32, [None, feature_count]) 
y = tf.placeholder(tf.int32, [None]) 

W = tf.Variable(tf.zeros([feature_count, 2])) 
b = tf.Variable(tf.zeros([2])) 

guess = tf.nn.softmax(tf.matmul(x, W) + b) 

cost = tf.reduce_mean(tf.nn.sparse_softmax_cross_entropy_with_logits(tf.matmul(x, W) + b, y)) 

opti = tf.train.GradientDescentOptimizer(0.01).minimize(cost) 

init = tf.initialize_all_variables() 
sess = tf.Session() 
sess.run(init) 

for i in range(1000): 
    for (item_x, item_y) in zip(new_training_in, training_out): 
     sess.run(opti, feed_dict={x: [item_x], y: [item_y]}) 

print(sess.run(W)) 
print(sess.run(b)) 

plt.plot(training_in[:6, 0], training_in[:6, 1], 'bo') 
plt.plot(training_in[6:, 0], training_in[6:, 1], 'rx') 

results = sess.run(guess, feed_dict={x: new_training_in}) 

for i in range(training_in.shape[0]): 
    xx = [training_in[i:, 0]] 
    yy = [training_in[i:, 1]] 
    res = results[i] 

    # this always prints `[ 1.]` 
    print(res) 

    # uncomment these lines to see the guesses 
    if res[0] == 0: 
     plt.plot(xx, yy, 'c+') 
    else: 
     plt.plot(xx, yy, 'g+') 
plt.show()