Тензорный поток: правильная скорость обучения для «сигмоида» с «SGD» для MLP

Question

В настоящее время я сделал простой MLP с одним скрытым слоем, слоем softmax (форма = [440,8196,8], ярлык разрежен) с Tensorflow, и попробовал разные настройки, например различные функции активации, разные оптимизаторы. Большинство настроек работают нормально и обеспечивают разумные результаты конвергенции кросс-валидации, за исключением настройки (сигмоида, SGD). Я отлаживался с разной скоростью обучения от 1,0, 0,1, 0,001, до 0,0001, до 0,00001, и обучение по-прежнему не работает, что не показывает конвергенции. Это смутило меня, потому что другие настройки работают нормально, например. (сигмоид, Адам, learning_rate = 0,001), (tanh/elu/relu, SGD, learning_rate = 0,008 и быть уменьшенными на две части в каждую эпоху).

Я считаю, что все функции Tensorflow прекрасны, так как я тестировал такие разные настройки с данными MNIST, и все имеет смысл. Почему только (сигмоид, SGD) не работает в моем единственном случае (мои собственные данные) ??? Из моего ограниченного опыта «сигмоид» обычно может даже выдержать немного большую скорость обучения, чем «тань». Я изменил различные схемы инициализации (постоянный, единообразный), но все еще не могу найти, где проблема. Любые предложения по дальнейшему отладке? Большое спасибо!!!

Answer 1

Возможно, сначала начните с однослойной сети с одним или двумя устройствами, чтобы сначала проверить (сигмоид, SGD), а затем постепенно увеличить сложность сети. Таким образом, вы могли бы лучше отделить алгоритмические проблемы и проблемы использования/принятия решений с использованием тензора.