Data Whale 吃瓜日记 西瓜书第五章

基本概念

• 神经网络（neural networks） 神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界舞台所做出的交互反应
• 激活函数（activation fuction） 神经网络中将输入值进行处理，获得输出的函数，激活函数的输出范围为（0，1） 常见激活函数有 Sigmoid 、Tanh 、ReLU
• 学习率（learing rate） 训练时，根据输出调整权重的程度
• 隐含层（hidden layer） 输出层与输入层之间的一层神经元
• 多层前馈神经网络（multi-layer feedforward neural networks） 每层神经元与下一层神经元全相连，神经元之间不存在同层连接，也不存在跨层连接的神经网络结构
• 反向传播算法（error BackProgagation） 将输出层的误差逆向传播给隐含层神经元，更新隐含层权重及阈值

标准反向传播算法

• 正则化（regularization） 在误差目标函数中增加一个用于描述网络复杂度的部分
• 全局最小与局部极小

全局最小与局部极小

• 竞争型学习（competitive learning） 常用的无监督学习策略。网络的输出神经元相互竞争，每一时刻仅有一个竞争获胜的神经元被激活，其他神经元的状态被抑制
• 结构自适应网络 训练过程中，权重、阈值、网络结构均会发生改变
• 递归神经网络（recurrent neural networks） 网络中存在环形结构，使得神经元的输出反馈作为输入信号
• 预训练（pre-training） 每次训练一层隐含层节点，训练时将上一层隐含层节点的输出作为输入，本层隐含层节点的输出作为下一层隐含层节点的输入
• 无监督逐层训练（unsupervised layer-wise training） 先进行预训练，再对整个网络进行微调
• 权共享（weight sharing） 让一组神经元使用相同的权重

重要结论

• 神经网络的学习过程，就是根据训练数据来调整神经元之间权重及每个神经元阈值的过程
• 只需一个包含足够多神经元的隐含层，多层前馈网络就能以任意精度逼近任意复杂度的连续函数
• 缓解BP网络过拟合的两种策略：“早停”、“正则化”
• “跳出”局部极小，找到全局最小的方法：

逼近全局最小 方法

• 节省训练开销的策略：“预训练+微调”、“权共享”总结神经网络具有权重、阈值作为变量，通过激活函数来获取输出，训练的过程即是根据输出与实际值的误差来调整权重、阈值（与学习率有关）的过程，为了缓解过拟合，需要采取“早停”、“正则化”等手段，可以通过多种方法寻找全局最小，提高训练效果，深度学习通过多个隐含层提取训练数据中的特征，最终得到能够误完成指定任务的网络