适合专利代理师看的神经网络模型

作者 | 曾军 北京康信知识产权代理有限责任公司

（本文系知产力获得授权的稿件，转载须征得作者本人同意，并在显要位置注明文章来源。）

（本文1535字，阅读约需3分钟）

作为一个在篮球界深耕近二十年的专利代理师，经常和同事吐槽工作中的各种正经和不正经的事（说到这里是不是以为笔者又要开始不正经了），好的，笔者要开始正经地扒“神经网络模型到底是怎么炼成的了”（大牛们看到这里就可以了，此文是专利代理师特供）。

神经网络模型是什么？

神经网络模型通常被视为聪明（无所不能）的黑盒子，给它喂什么样的标记样本，它就能具备识别同类样本的能力，但是执着、较真、视客户为上帝（负责任）的专利代理师是不会允许自己撰写的专利文稿这么浅薄的，都恨不得把黑盒子拆开一个个分析其内部每一部分的结构、这部分结构所提取的特征、它的权重是多少，说到这里，专利代理师是不是又要开始问：

神经网络模型到底是什么？

以神经网络模型从图像中识别大白兔为例，其识别大白兔的大致过程是：将图像分割成若干图像块，提取每个图像块具有的局部特征，再将这些图像块的局部特征汇总成全局特征，进而完成大白兔的识别。整个过程中，神经网络模型的工作可以分成如下几个主要步骤：

步骤1，卷积层提取特征

例如，上述待识别图像大小为7*7 ，每个像素点内都存储着图像的颜色值（如左侧视图），然后通过一个卷积核（如中间视图，相当于权重）从图像中提取特征，卷积核与数字矩阵对应位相乘再相加，得到卷积层输出结果（如右侧视图）。

上述卷积核每和一个3*3的图像块完成卷积（此图和上图的卷积核不同，原谅笔者盗图）后向右移动一个像素点，下图示出了以步长为1（即每次卷积完后移动一个像素）的完整卷积过程，当所有的像素点都至少被覆盖一次后，就可以产生一个卷积层的输出：

神经网络模型初始时并不知道要识别哪些特征，而是通过比较不同卷积核的输出来确定哪一个卷积核（该卷积核所识别的特征即所需的最能表现该图像的特征），比如要识别图像中曲线这一特征，那么某个卷积核的输出值越高，就说明该卷积核与曲线这一特征的匹配程度就越高，越能表现该曲线特征。

当上述卷积核识别到大白兔屁股（就是传说中的曲线）的时候，卷积核与大白兔屁股区域数字矩阵相乘后输出较大，而在该卷积核识别大白兔的耳朵的时候，输出则可能很小。

此时就可以将这个卷积核保存用来识别曲线特征，采用同样的方式能找出识别大白兔其他部位（特征）的卷积核，在此过程中，卷积层在训练时通过不断的改变所使用的卷积核，来从中选取出与图片特征最匹配的卷积核，进而在图片识别过程中利用这些卷积核的输出来确定对应的图片特征。

步骤2，池化层处理

卷积层输出的特征作为池化层的输入，由于卷积核数量众多，输入的特征维度也很大，为了减少需要训练的参数数量和减小过拟合现象（过拟合时模型会过多的去注重细节特征，而不是共性特征，导致识别准确率下降），可以只保留卷积层输出的特征中有用的特征，而消除其中属于噪声的特征，既能减少噪声传送，还能降低特征维度。

池化层常见的两种处理方式是：

最大池化（以步长为2示意）

均值池化

步骤3，全连接层处理

全连接层（fully connected layers，FC）在整个神经网络模型中相当于“分类器”，通过卷积层和池化层的操作可将原始数据映射到隐层特征空间，全连接层将学到的“分布式特征表示”映射到样本标记空间，即对于卷积层和池化层提取的有用的图像特征（即局部特征），全连接层利用这些有用的图像特征进行分类，利用激活函数对汇总的局部特征进行一些非线性变换，得到输出结果。

说到这里，是不是觉得神经网络模型不仅仅是在独立权利要求中写个黑盒子就完了吧，不要说笔者没有给出提示哦，对于不同的场景，识别过程中用到的卷积核、特征、各层的参数以及训练中卷积核的选择、参数的训练、激活函数的作用都是不同的，利用这些不同可以完美地环绕在黑盒子周围，保护着黑盒子。

（咳咳，未完待续）

来　　源：康信知识产权