神经网络复杂度

深度学习-神经网络NN的复杂度

NN的复杂度一般是用NN层数和参数的个数来表示的。

上面是一个简单的只包含一个隐藏层的神经网络：

• 输入层：3个节点
• 隐藏层：4个节点；输入层和输出层之间的所有层数都叫隐藏层
• 输出层：2中节点

输入层

输入层的功能仅仅是传入数据，一般不计入神经网络的层数计算中。

空间复杂度

神经网络层数

NN的层数=所有隐藏层+输出层。上面就是1+1=2层

参数计算

NN的参数 = 总共的w + 总共的b

图中的第一层加上第二层的参数：上面的结果为： （3*4 + 4 ） + （4*2+2） = 26

时间复杂度

指的是模型的运算次数，只需要看乘加运算的次数。上面的结果可表示为：3*4 + 4*2