导数是人工智能、神经网络的基础,正向传播、反向传播无不依赖于导数,导数也是高数的基础,本文算是一个半学习半理解加非科班的学习过程吧
导数(Derivative),也叫导函数值。...当函数y=f(x)的自变量x在一点x0上产生一个增量Δx时,函数输出值的增量Δy与自变量增量Δx的比值在Δx趋于0时的极限a如果存在,a即为在x0处的导数,记作f'(x0)或df(x0)/dx。...导数是变化率、是切线的斜率、是速度、是加速度
导数的本质是通过极限的概念对函数进行局部的线性逼近,从这个意义上讲是瞬时速度。...,即为关于x的偏导数
∂z/∂x=∂f(x,y)/∂x=lim[Δx=0](f(x+Δx,y)-f(x,y))/Δx
∂z/∂y=∂f(x,y)/∂y=lim[Δy=0](f(x,y+Δy)-f(x,y...))/Δy
当z=wx+b
∂z/∂x=w,∂z/∂w=x,∂z/∂b=1
当z=w1x1+w2y2+b1,对x1,w2,b1求偏导
∂z/∂x1=w1
∂z/∂w2=x2
∂z/∂b1=1
当f(x,