有限元以及神经网络的相似性

生活中经常看到各种各样奇妙现象，给人呈现出美感，在欣赏美景的同时偶尔会想它们中蕴含的基本原理，比如说：树木为什么会分叉（跟分形是否能联系起来）、石头扔进池塘为何会是环形波纹等等，从通俗的角度来说，树木向上生长可以理解为改变自身的形状，使得接收到的太阳能最多，一石激起千层浪体现为石头与池塘中水相互碰撞后，如何改变水的分布（能量分布），使得石头和水组合成系统后能量趋于最小的过程（最小势能原理），冥冥之中，一直相信树木和池塘中的水都是处于最优状态（均衡），有没有统一的一种方法去研究这些问题。

——前言

No.1

何为有限元

很多人都采用过有限元方法计算具体工程问题，不知道你计算过程中是否想过有限元背后蕴含的原理？

有限元是基于近代计算机的快速发展而发展起来的一种近似数值方法，也可以说是求解带有特定边界条件的偏微分方程问题。有限元方法从最小势能原理（假定体系势能最小的时候，系统处于稳定状态）出发，把网格节点位移作为自变量，求取在外界激励作用下使得系统势能最小的一组最优节点位移，在数学上的表征为求解结构刚度矩阵与结构载荷列阵。

No.2

神经网络

近些年来人工智能、神经网络等引起社会广泛的关注，你有没有想过他们背后的数学原理呢？

观看程序源码，发现人工智能大多数算法（PCA、LDA、最小二乘法以及BP神经网络等）从本质上来说可以转换为特定条件下最优参数的求解问题。

例如：搭建好神经网后，对神经网络进行训练的过程，从本质上来说等效为求取每个神经元的最优参数，其中优化的目标为：采用神经网络模型预测的结果和实验真实值偏差最小，通过数值迭代算法（梯度下降——类似有限元）得到优化变量具体的取值大小：

No.3

数学上相似性

有限元以及神经网络都可以看做优化问题，通过数值迭代算法（牛顿法、拟牛顿法以及梯度下降法等）求得自变量具体的数值，从宏观表象上理解为系统处于均衡状态的过程，其中，优化目标以及自变量如下表所示：

附录

人工智能是研究如何使计算机模拟人思维过程和智能行为的学科，进而使得机器能够通过图灵测试，近些年来在社会上引起了广泛的关注，其研究内容包含分类算法、聚类算法以及降维算法等。

神经元作为神经网络基本的单元，具体的含义为：

我们以战士打靶为例，根据前期大量试验数据，训练出一个神经网络模型，建立枪摆放位置(x,y)与射击结果之间的关系，进而给算法输入一个点的坐标（射击姿势），它就告诉你这个点是什么结果（是否命中）。

正向传播：把点的坐标数据输入神经网络，然后开始一层一层的传播下去，直到输出层输出结果。

反向传播(BP)：就好比战士去靶场打靶，枪的摆放位置（输入），和靶心（期望的输出）是已知。战士（神经网络）开始的时候会随便开一枪（w，b参数初始化称随机值），观察结果（这时候相当于进行了一次正向传播），当弹孔位置偏离靶心左边，下次射击时候枪口往右偏一些，反复调整射击角度（反复迭代），误差越来越小，战士打得越来越准（神经网络预测的结果越来越准确），训练到一定程度后使得命中率比人都要好。

本文均为个人理解，不足之处欢迎各位批评指正