社区首页 >专栏 >MNIST数据集 — 前期准备

MNIST数据集 — 前期准备

木野归郎

发布于 2020-10-30 06:45:38

52000

代码可运行

文章被收录于专栏：share ai happinessshare ai happiness

运行总次数：0

代码可运行

前言

持续两个星期关于深度学习基础方面的更新，非常感谢我们这个小编为大家的总结分享。

前面都是基础零碎的知识，需要通过一个栗子来为大家把整个流程走一遍，从整体上对TensorFlow进行一个把握，大概分为四篇文章来说明吧(前期准备、前馈计算、模型训练、模型评价)。

变量管理

# get_variable
emb = tf.get_variable(name=“emb”, # 变量名称（必填）
        shape # 词向量维度
        initializer) # 词向量矩阵，训练好的
# Variable
emb = tf.Variable(initializer, # 词向量矩阵，训练好的
         name=“emb” # 变量名称（可选）

上一篇文章说过声明变量的方法分为两种get_variable()和variable()方法，get_variable()其实是通过变量名来管理变量的方法，根据变量名称直接获取，如果不存在就创建一个新的。Variable()方法，创建一个新的变量，用具体的值初始化，变量名称可选。

Variable + name_scope

通过组合可以简化命名参数，合理组织参数，在Tensorboard可视化展示过程中更加清晰结构逻辑。

使用name_scope进行空间命名，使用variable进行初始化。下面再定义一个名为conv2的空间，分别打印名称。

# 在conv1命名空间下定义变量
with tf.name_scope('conv1') as scope: 
  weights1 = tf.Variable([1.0, 2.0], name='weights') 
  bias1 = tf.Variable([0.3], name='bias') 

# 在conv2命名空间下定义变量
with tf.name_scope('conv2') as scope: 
  weights2 = tf.Variable([4.0, 2.0], name='weights') 
  bias2 = tf.Variable([0.33], name='bias') 

print (weights1.name) # conv1/weights
print (weights2.name) # conv2/weights

get_variable + variable_scope

主要用于实现参数共享。

使用variable_scope创建变量名为s1的空间，通过get_variable获取方法。

# 根据变量名称直接获取，如果不存在就创建一个新的
with tf.variable_scope(“s1”):
  v = get_variable(“v”, shape1, initializer1)
  # 创建失败，由于变量名“v”已经存在
  v1 = get_variable(“v”, shape1)

# 如果已经存在，直接返回当前变量
with tf.variable_scope(“s1”，reuse=True):
  v2 = get_variable(“v”, shape1)
# 输出 True, 都是s1/v
print（v==v2）

# 变量空间s1下创建变量v
with tf.variable_scope(“s1”):
  v = get_variable(“v”, shape1, initializer1) 
  print (v) # 输出 s1/v:0

# 变量空间s2下创建变量v
with tf.variable_scope(“s2”):
  v = get_variable(“v”, shape1) 
  print (v) # 输出 s2/v:0

# 变量空间s2下创建变量v
v = get_variable(“s1/v”, shape1)

variable_scope vs. name_scope

# 在name_scope下调用get_variable
with tf.name_scope(“s1”):
  v = get_variable(“v”, shape1, initializer1) 
  print (v) # 输出 v:0

# 在variable_scope下调用Variable
with tf.variable_scope(“s2”):
  v = tf.Variable(“v”, shape1) 
  print (v) # 输出 s2/v:0

variable_scope和name_scope区别是什么？Name_scope和get_variable一起使用的时候，name_scope是不起任何作用的，variable_scope和Variable使用是有对应的作用的， get_variable是不受name_scope的限制的。

代码持久化管理

保存

# 前续TensorFlow代码
  …………
# 用于保存模型参数
saver = tf.train.Saver()

With tf.Session() as sess:
  …………
  # 保存模型到制定路径下
  saver.save(sess, “path/to/model/model.ckpt”)

我们把一个模型训练结束，一般是要把它保存下来，后期如果想用这个模型，会把这个模型导入进来，进行预测，这个就是持久化的过程，将内存中的模型导入到磁盘里边生成一个文件。持久化包括：保存和导入。TensorFlow里边怎么进行持久管理呢？前面我们说了很多进行模型训练，这里使用tf.train中的saver()保存。创建saver对象，在session中训练好模型，然后调用saver的save方法，指定路径进行保存。

保存为三个文件：

model.ckpt.meta, 计算图结构，模型结构

model.ckpt，模型参数

checkpoint，所有模型文件列表

导入

# 前续TensorFlow代码
  …………
# 用于保存模型参数
saver = tf.train.Saver()

With tf.Session() as sess:
  …………
  # 导入指定路径下的模型
  saver.restore(sess, “path/to/model/model.ckpt”)

然后需要进行导入，和保存的代码差不多，在session里边调用restore方法，指定路径。

前面的方法是直接重写一个模型结构再把参数导进来，这里是声明saver的时候，直接先把保存好的模型结构先导进来，然后把参数导进来。

# 直接加载计算结构图
saver = tf.train.import_meta_graph(
    “path/to/model/model.ckpt/model.ckpt.meta”)

With tf.Session() as sess:
  …………
  # 导入指定路径下的模型
  saver.restore(sess, “path/to/model/model.ckpt”)

部分保存

# 前续TensorFlow代码
  …………
# 用于保存模型参数，通过词典给出要保存的参数列表
saver = tf.train.Saver({“v1”:v1, “v2”:v2})

With tf.Session() as sess:
  …………
  # 保存模型到制定路径下
  saver.save(sess, “path/to/model/model.ckpt”)

持久化部分参数，如果需要针对性的导出，对每个参数进行命名，按照词典的方式进行参数名称对应参数值，用这个词典初始化saver类。

滑动平均模型

滑动平均模型可以使模型在测试数据上更健壮，适合基于梯度下降算法训练神经网络的过程。在TensorFlow中提供了该模型：tf.train.ExponentialMovingAverage。

# 定义一个变量
v1 = tf.Variable(0, dtype=tf.float32)
# num_updates 变量更新次数
step = tf.Variable(0, trainable=False)
# 定义一个滑动平均模型，给出decay和num_updates
ema=tf.train.ExponentialMovingAverage(0.99, step)
# 定义一个滑动平均计算操作，给出要维护的变量列表
maintain_averages_op = ema.apply([v1])

With tf.Session() as sess:
  …………
  sess.run(maintain_averages_op) # 运行滑动平均模型

学习速率衰减

学习速率不是一个固定的值，训练前期使用较大的学习率加速，让模型快速收敛，训练过程中主键减小学习速率，到训练后期使用较小的学习率，使模型在训练后期更稳定。

TensorFlow支持的学习速率衰减策略

exponential_decay
inverse_time_decay
natural_exp_decay
piecewise_constant
polynomial_decay

tf.train.exponential_decay(
    learning_rate, # 初始学习率
    global_step, # 当前迭代次数
    decay_steps, # 衰减速度，在迭代到该次数时衰减
    decay_rate # 学习率衰减系数，通常介于0-1之间
）

有时需要同时维护多套参数。例如，使用滑动平均模型时除了模型参数，还需要维护模型参数对应的影子变量。这个时候可以通过group和control_dependencies完成。

# group，参数为需要维护的
tf.group(train_part1, train_part2) 
# control_denendencies
With tf.control_dependencies([train_p1, train_p2]):
  train_op = tf.no_op(name=“train”)