10.5 VGG16模型复用

10.5.1 微调（Finetuining）

(1) trainable参数变动

在进行Finetuning对模型重新训练时，对于部分不需要训练的层可以通过设置trainable=False来确保其在训练过程中不会被修改权值。

(2) 全连接层的神经元个数

预训练的VGG是在ImageNet数据集上进行训练的，对1000个类别进行判定，由于需要进行的是猫狗分类，所以应该将最后的分类类别改为两类即可。

10.5.2 代码变动

在类的初始化时，将需要共享的参数传递进来。

图 10-11 初始化改动

卷积操作设置参数为不可训练，后面会将预训练模型的参数进行传入。

图 10-12 卷积操作改动

全连接操作可以进行训练，对我们新加入的数据集进行拟合。

图 10-13 全连接操作改动

对卷积层进行改动，其中的参数均不可训练，使用预训练模型的参数。

图 10-14 卷积层改动

设定最后三层全连接均可训练，将最后的输出改为2，因为我们的问题是个二分类问题。

图 10-15 全连接层改动

10.5.3 载入权重

图 10-16 载入权重

权重文件：https://www.cs.toronto.edu/~frossard/vgg16/vgg16_weights.npz

分类文件： https://www.cs.toronto.edu/~frossard/vgg16/imagenet_classes.py

> 示例代码

# -*- coding: utf-8 -*-
import numpy as np
import tensorflow as tf


#tf.reset_default_graph()
# 修改VGG模型： 全连接层的神经元个数；trainable参数变动
# （1）预训练的VGG是在ImageNet数据集上进行训练的，对1000个类别进行判定
#     若希望利用已训练模型用于其他分类任务，需要修改最后的全连接层     
# （2）在进行Finetuning对模型重新训练时，对于部分不需要训练的层可以通过设置trainable=False来确保其在训练过程中不会被修改权值
class vgg16:
    def __init__(self, imgs):
        self.parameters = [] # 在类的初始化时加入全局列表，将所需共享的参数加载进来
        self.imgs = imgs
        self.convlayers()
        self.fc_layers()
        self.probs = tf.nn.softmax(self.fc8)# 输出每个属于各个类别的概率值

    def saver(self):
        return tf.train.Saver()

    def maxpool(self,name,input_data):
        out = tf.nn.max_pool(input_data,[1,2,2,1],[1,2,2,1],padding="SAME",name=name)
        return out

    def conv(self,name, input_data, out_channel,trainable=False): # trainable参数变动
        in_channel = input_data.get_shape()[-1]
        
        with tf.variable_scope(name):  
            kernel = tf.get_variable("weights", [3, 3, in_channel, out_channel], dtype=tf.float32, trainable=False) # trainable参数变动
            biases = tf.get_variable("biases", [out_channel], dtype=tf.float32, trainable=False) # trainable参数变动
            conv_res = tf.nn.conv2d(input_data, kernel, [1, 1, 1, 1], padding="SAME")
            res = tf.nn.bias_add(conv_res, biases)
            out = tf.nn.relu(res, name=name)
        self.parameters += [kernel, biases] # 将卷积层定义的参数（kernel, biases）加入列表
        return out

    def fc(self,name,input_data,out_channel,trainable=True): # trainable参数变动
        shape = input_data.get_shape().as_list()
        if len(shape) == 4:
            size = shape[-1] * shape[-2] * shape[-3]
        else:size = shape[1]
        input_data_flat = tf.reshape(input_data,[-1,size])
        with tf.variable_scope(name):
            weights = tf.get_variable(name="weights",shape=[size,out_channel],dtype=tf.float32, trainable=trainable) # trainable参数变动
            biases = tf.get_variable(name="biases",shape=[out_channel],dtype=tf.float32, trainable=trainable) # trainable参数变动
            res = tf.matmul(input_data_flat,weights)
            out = tf.nn.relu(tf.nn.bias_add(res,biases))
        self.parameters += [weights, biases] # 将全连接层定义的参数（weights, biases）加入列表
        return out

    def convlayers(self):
        #conv1
        self.conv1_1 = self.conv("conv1re_1",self.imgs,64,trainable=False)# trainable参数变动
        self.conv1_2 = self.conv("conv1_2",self.conv1_1,64,trainable=False)# trainable参数变动
        self.pool1 = self.maxpool("poolre1",self.conv1_2)

        #conv2
        self.conv2_1 = self.conv("conv2_1",self.pool1,128,trainable=False)# trainable参数变动
        self.conv2_2 = self.conv("convwe2_2",self.conv2_1,128,trainable=False)# trainable参数变动
        self.pool2 = self.maxpool("pool2",self.conv2_2)

        #conv3
        self.conv3_1 = self.conv("conv3_1",self.pool2,256,trainable=False)# trainable参数变动
        self.conv3_2 = self.conv("convrwe3_2",self.conv3_1,256,trainable=False)# trainable参数变动
        self.conv3_3 = self.conv("convrew3_3",self.conv3_2,256,trainable=False)# trainable参数变动
        self.pool3 = self.maxpool("poolre3",self.conv3_3)

        #conv4
        self.conv4_1 = self.conv("conv4_1",self.pool3,512,trainable=False)# trainable参数变动
        self.conv4_2 = self.conv("convrwe4_2",self.conv4_1,512,trainable=False)# trainable参数变动
        self.conv4_3 = self.conv("conv4rwe_3",self.conv4_2,512,trainable=False)# trainable参数变动
        self.pool4 = self.maxpool("pool4",self.conv4_3)

        #conv5
        self.conv5_1 = self.conv("conv5_1",self.pool4,512,trainable=False)# trainable参数变动
        self.conv5_2 = self.conv("convrwe5_2",self.conv5_1,512,trainable=False)# trainable参数变动
        self.conv5_3 = self.conv("conv5_3",self.conv5_2,512,trainable=False)# trainable参数变动
        self.pool5 = self.maxpool("poorwel5",self.conv5_3)

    def fc_layers(self):

        self.fc6 = self.fc("fc1", self.pool5, 4096, trainable=False)# trainable参数变动
        self.fc7 = self.fc("fc2", self.fc6, 4096, trainable=False) # trainable参数变动
        self.fc8 = self.fc("fc3", self.fc7, 2,trainable=True) #fc8正是我们需要训练的，因此trainable=True；2是n_class

    def load_weights(self, weight_file, sess): # 这个函数将获取的权重载入VGG模型中
        weights = np.load(weight_file)
        keys = sorted(weights.keys())
        for i, k in enumerate(keys):
            if i not in [30, 31]:# 剔除不需载入的层
                sess.run(self.parameters[i].assign(weights[k]))
        print("-----------weights loaded---------------")