model.save_weights и model.load_weights не работают должным образом

Question

Я новичок в обучении машинам и читаю курсы по fast.ai. Мы узнаем о vgg16, и у меня проблемы с сохранением моей модели. Интересно, что я делаю неправильно. Когда я начинаю свою модель с нуля, обучение, чтобы узнать разницу между кошками и собаками, я получаю:

from __future__ import division,print_function 
from vgg16 import Vgg16 
import os, json 
from glob import glob 
import numpy as np 
from matplotlib import pyplot as plt 
import utils; reload(utils) 
from utils import plots 


np.set_printoptions(precision=4, linewidth=100) 
batch_size=64 

path = "dogscats/sample" 
vgg = Vgg16() 
# Grab a few images at a time for training and validation. 
# NB: They must be in subdirectories named based on their category 
batches = vgg.get_batches(path+'/train', batch_size=batch_size) 
val_batches = vgg.get_batches(path+'/valid', batch_size=batch_size*2) 
vgg.finetune(batches) 
no_of_epochs = 4 
latest_weights_filename = None 
for epoch in range(no_of_epochs): 
    print ("Running epoch: %d" % epoch) 
    vgg.fit(batches, val_batches, nb_epoch=1) 
    latest_weights_filename = ('ft%d.h5' % epoch) 
    vgg.model.save_weights(path+latest_weights_filename) 
print ("Completed %s fit operations" % no_of_epochs) 

Found 160 images belonging to 2 classes. 
Found 40 images belonging to 2 classes. 
Running epoch: 0 
Epoch 1/1 
160/160 [==============================] - 4s - loss: 1.8980 - acc: 0.6125 - val_loss: 0.5442 - val_acc: 0.8500 
Running epoch: 1 
Epoch 1/1 
160/160 [==============================] - 4s - loss: 0.7194 - acc: 0.8563 - val_loss: 0.2167 - val_acc: 0.9500 
Running epoch: 2 
Epoch 1/1 
160/160 [==============================] - 4s - loss: 0.1809 - acc: 0.9313 - val_loss: 0.1604 - val_acc: 0.9750 
Running epoch: 3 
Epoch 1/1 
160/160 [==============================] - 4s - loss: 0.2733 - acc: 0.9375 - val_loss: 0.1684 - val_acc: 0.9750 
Completed 4 fit operations 

Но теперь, когда я иду, чтобы загрузить один из файлов вес, модель начинается с нуля! Например, я бы ожидал, что модель ниже имеет значение val_acc 0.9750! Я что-то недопонимаю или что-то не так? Почему val_acc так низко с этой загруженной моделью?

vgg = Vgg16() 
vgg.model.load_weights(path+'ft3.h5') 
batches = vgg.get_batches(path+'/train', batch_size=batch_size) 
val_batches = vgg.get_batches(path+'/valid', batch_size=batch_size*2) 
vgg.finetune(batches) 
vgg.fit(batches, val_batches, nb_epoch=1) 

Found 160 images belonging to 2 classes. 
Found 40 images belonging to 2 classes. 
Epoch 1/1 
160/160 [==============================] - 6s - loss: 1.3110 - acc: 0.6562 - val_loss: 0.5961 - val_acc: 0.8250 

Answer 1

Проблема заключается в функции finetune. Когда вы глубже в ее определение:

def finetune(self, batches): 
    model = self.model 
    model.pop() 
    for layer in model.layers: layer.trainable=False 
    model.add(Dense(batches.nb_class, activation='softmax')) 
    self.compile() 

... можно увидеть, что при вызове функции pop - последний слой модели удаляется. Делая это, вы теряете информацию от обученной модели. Последний слой снова добавляется со случайными весами, а затем начинается тренировка. Это является причиной снижения точности.