TensorFlow: какая разница между sparse_softmax_cross_entropy_with_logits и softmax_cross_entropy_with_logits?

Question

Я недавно натолкнулся на tf.nn.sparse_softmax_cross_entropy_with_logits, и я не могу понять, какая разница по сравнению с tf.nn.softmax_cross_entropy_with_logits.

Единственная разница в том, что подготовка векторов y должна быть one-hot encoded при использовании sparse_softmax_cross_entropy_with_logits?

Чтение API Я не смог найти никакой другой разницы по сравнению с softmax_cross_entropy_with_logits ... но зачем нам нужна дополнительная функция?

Не должно softmax_cross_entropy_with_logits произвести тот же результат, что и sparse_softmax_cross_entropy_with_logits, если он снабжен одноразовыми закодированными данными/векторами обучения?

Answer 1

Имея две различные функции, это удобство, так как они дают одинаковый результат.

Разница проста:

• Для sparse_softmax_cross_entropy_with_logits, этикетки должны иметь форму [batch_size] и DTYPE int32 или int64. Каждая метка является int в диапазоне [0, num_classes-1].
• Для softmax_cross_entropy_with_logits метки должны иметь форму [batch_size, num_classes] и dtype float32 или float64.

Этикетки, используемые в softmax_cross_entropy_with_logits являются один горячий вариант этикеток, используемых в sparse_softmax_cross_entropy_with_logits.

Другая крошечная разница в том, что с sparse_softmax_cross_entropy_with_logits, вы можете дать -1 в качестве метки, чтобы иметь потерю 0 на этой этикетке.

Answer 2

Я хотел бы добавить 2 вещи к принятому ответу, которые вы также можете найти в документации TF.

Первое:

tf.nn.softmax_cross_entropy_with_logits

Примечание: В то время как классы являются взаимоисключающими, их вероятности не должно быть. Все, что требуется, состоит в том, что каждая строка меток является действительным распределением вероятностей . Если это не так, вычисление будет неправильным.

Второе:

tf.nn.sparse_softmax_cross_entropy_with_logits

ПРИМЕЧАНИЕ: Для выполнения этой операции, вероятность данной этикетке считается эксклюзивным. То есть, мягкие классы не допускаются, а вектор меток должен предоставлять один конкретный индекс для истинного класса для каждой строки логитов (каждая запись в мини-часах).

Answer 3

Обе функции вычисляет одни и те же результаты и sparse_softmax_cross_entropy_with_logits вычисляет перекрестную энтропию непосредственно на разреженных метках вместо преобразования их с one-hot encoding.

Вы можете проверить это, запустив следующую программу:

import tensorflow as tf 
from random import randint 

dims = 8 
pos = randint(0, dims - 1) 

logits = tf.random_uniform([dims], maxval=3, dtype=tf.float32) 
labels = tf.one_hot(pos, dims) 

res1 = tf.nn.softmax_cross_entropy_with_logits(  logits=logits, labels=labels) 
res2 = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=logits, labels=tf.constant(pos)) 

with tf.Session() as sess: 
    a, b = sess.run([res1, res2]) 
    print a, b 
    print a == b 

Здесь я создаю случайный logits вектор длины dims и генерировать один горячий кодированные метки (где элемент в pos 1 и другие равны 0) ,

После этого я вычисляю softmax и разреженный softmax и сравниваю их выходные данные. Попробуйте повторить его несколько раз, чтобы убедиться, что он всегда производит одинаковый вывод.