обратного распространения алгоритм (Matlab): выходные значения с насыщением до 1

Question

Я закодированы до алгоритма обратного распространения в Matlab на основе этих примечаний: http://dl.dropbox.com/u/7412214/BackPropagation.pdf

Моя сеть принимает входные/векторов признаков длины 43, имеет 20 узлов в скрытый слой (выбор произвольного параметра я могу изменить) и имеет единственный выходной узел. Я хочу тренировать свою сеть, чтобы использовать 43 функции и выводить одно значение от 0 до 100. Входные данные были нормированы на нулевое среднее и стандартное отклонение единицы (через z = x - среднее/std), а затем я добавил «1 "термин для ввода векторов для представления смещения. Мои targetValues ​​только одиночные цифры от 0 до 100.

Вот соответствующие части моего кода:

(По моему соглашению слой I (я) относится к входному слою, J (J) относится к скрытый слой, а к (к) относится к выходному слою, который представляет собой один узел в данном случае)

for train=1:numItrs 
     for iterator=1:numTrainingSets 

      %%%%%%%% FORWARD PROPAGATION %%%%%%%% 

      % Grab the inputs, which are rows of the inputFeatures matrix 
      InputLayer = inputFeatures(iterator, :)'; %don't forget to turn into column 
      % Calculate the hidden layer outputs: 
      HiddenLayer = sigmoidVector(WeightMatrixIJ' * InputLayer); 
      % Now the output layer outputs: 
      OutputLayer = sigmoidVector(WeightMatrixJK' * HiddenLayer); 

      %%%%%%% Debug stuff %%%%%%%% (for single valued output) 
      if (mod(train+iterator, 100) == 0) 
       str = strcat('Output value: ', num2str(OutputLayer), ' | Test value: ', num2str(targetValues(iterator, :)')); 
       disp(str); 
      end 




      %%%%%%%% BACKWARDS PROPAGATION %%%%%%%% 

      % Propagate backwards for the hidden-output weights 
      currentTargets = targetValues(iterator, :)'; %strip off the row, make it a column for easy subtraction 
      OutputDelta = (OutputLayer - currentTargets) .* OutputLayer .* (1 - OutputLayer); 
      EnergyWeightDwJK = HiddenLayer * OutputDelta'; %outer product 
      % Update this layer's weight matrix: 
      WeightMatrixJK = WeightMatrixJK - epsilon*EnergyWeightDwJK; %does it element by element 

      % Propagate backwards for the input-hidden weights 
      HiddenDelta = HiddenLayer .* (1 - HiddenLayer) .* WeightMatrixJK*OutputDelta; 
      EnergyWeightDwIJ = InputLayer * HiddenDelta'; 
      WeightMatrixIJ = WeightMatrixIJ - epsilon*EnergyWeightDwIJ; 

     end 

    end 

и матрицы весовых инициализируются следующим образом:.

WeightMatrixIJ = rand(numInputNeurons, numHiddenNeurons) - 0.5; 
WeightMatrixJK = rand(numHiddenNeurons, numOutputNeurons) - 0.5; 
%randoms b/w (-0.5, 0.5) 

" сигмоид Вектор "принимает каждый элемент в векторе и применяет y = 1/(1 + exp(-x)).

Вот что отладочные сообщения выглядят, с самого начала коды:

Output value:0.99939 | Test value:20 
Output value:0.99976 | Test value:20 
Output value:0.99985 | Test value:20 
Output value:0.99989 | Test value:55 
Output value:0.99991 | Test value:65 
Output value:0.99993 | Test value:62 
Output value:0.99994 | Test value:20 
Output value:0.99995 | Test value:20 
Output value:0.99995 | Test value:20 
Output value:0.99996 | Test value:20 
Output value:0.99996 | Test value:20 
Output value:0.99997 | Test value:92 
Output value:0.99997 | Test value:20 
Output value:0.99997 | Test value:20 
Output value:0.99997 | Test value:20 
Output value:0.99997 | Test value:20 
Output value:0.99998 | Test value:20 
Output value:0.99998 | Test value:20 
Output value:0.99999 | Test value:20 
Output value:0.99999 | Test value:20 
Output value:1 | Test value:20 
Output value:1 | Test value:62 
Output value:1 | Test value:70 
Output value:1 | Test value:77 
Output value:1 | Test value:20 
** stays saturated at 1 ** 

Очевидно, я хотел сеть, чтобы обучать выходные значения в диапазоне от 0 до 100, чтобы попытаться соответствовать этим целевым значениям !

Благодарим вас за помощь, если вам нужна дополнительная информация, я предоставлю все, что могу.

Answer 1

Сигмоидная функция ограничена диапазоном (0,1), поэтому она никогда не ударит ваши целевые значения (так как они все больше 1). Вы должны масштабировать свои целевые значения, чтобы они также находились в диапазоне сигмоида. Поскольку вы знаете, что ваши целевые значения ограничены диапазоном (0,100), просто разделите их на 100.