Caffe源码解读 - 总览

Caffe源码解读

类图

caffe_class

SyncedMem类

该类是caffe数据存储的最底层，里面规定了什么时候分配内存(显存)，数据的存储位置以及数据的指针，封装了CPU和GPU之间数据交互的方法，并提供简单的接口进行数据的操作。

Blob类

Blob是caffe基本的数据结构，其主要做了两种封装：

1. 一个Blob中封装了data_和diff_两个数据指针，分别表示存储的参数和反向传播时计算的梯度。
2. 因为SyncedMem类存储的数据是一维的，在Blob中，记录一个Blob的shape信息，可以用来记录2维(全连接层in_feature*out_feature)3维4维的数据。并附带了计算数据偏移量、数据求和的方法。

Layer类

Layer类主要定义了caffe中Layer层需要做的任务，即Layer的初始化步骤、需要完成的任务(forward、backward)等。其前向传播得到top blob，反向传播计算出diff。

初始化步骤

void SetUp(const vector<Blob<Dtype>*>& bottom,
      const vector<Blob<Dtype>*>& top) {
    CheckBlobCounts(bottom, top);
    LayerSetUp(bottom, top);
    Reshape(bottom, top);
    SetLossWeights(top);
  }

共有4步操作：

1. 检查bottom和top的blobs的个数是否合法。
2. 用传入的bottom和top对Layer进行初始化。
3. 根据bottom来对top进行Reshape。
4. 如果参数中loss有权重，则进行权重分配。

Layer的派生类

Layer的派生类通过实现Layer的方法实现具体的操作。

Layer的派生类

caffe_layers

Date_Layer

data_layers

neuron_layer

neuron_layers

vison_layer

vision_layers

common_layer

common_layers

loss_layer

loss_layers

Layer的生成

通过使用工厂模式，由LayerRegistry将类和对应的字符串类型形成map映射关系，使网络在定义时可以生成不同类型的Layer以供使用。

Net类

Net类将数据和层组合起来做进一步的封装，对外暴露了初始化、前向传播以及反向传播的接口，通过vector连接各层规定传播方向和顺序。也可以理解为是一个大的Layer，里面包括了很多个小的Layer，实现了传播和更新的方法。

Solver类

Solver类主要实现了以下功能：

1. 设计好需要优化的对象，以及用于学习的训练网缘和笔用于评估的测试网络(使用prototxt)。
2. 通过forward和backward来更新参数。
3. 定期的评价测试网络。
4. 在优化过程中显示模型和solver状态。

Solver的次迭代经过以下4个步骤：

1. 调用forward方法来计算最终的输出值，以及对应的loss。
2. 调用backward方法来计算每层的梯度。
3. 根据选用的solver方法，利用梯度进行参数更新。
4. 记录并保存每次迭代的学习率、快照、以及对应的状态。