矩阵和向量的求导

引子

要说机器学习的课程，当属斯坦福大学华裔教授吴恩达讲的最好了。

然鹅他的课程难度系数并不低，有很多陌生的知识点在主课中并不会讲授，只是一带而过。当然了，他们学校的学生有辅助课程会详细讲，但这个课程我们外部人员是无法看到的。

因此，我们就有必要做一些扫盲工作，帮大家搬开这些恼人的石头，让大家更好的享受吴教授的机器学习课程。

元素对向量、矩阵求导

在微积分课程中，我们很熟练的掌握了对连续函数的求导方法，然鹅对于矩阵和向量这种出现在线性代数里的东西，居然也能求导？这有些令人匪夷所思。

如果我们把函数只是看做空间的一个元素（或者标量）的话，那函数求导不过是元素对元素的求导罢了，那如果拓展到多维空间下，一个元素也可以对向量和矩阵求导了，怎么做呢？

1）元素对向量求导

2）元素对矩阵求导

ok，元素的求导到此为止，貌似很简单的哈~~

那反过来呢？

3）向量对元素的求导

4）矩阵对元素的求导

好啦，肥肠简单哈，咱们继续~~

向量对向量的求导

向量对向量也能求导，哈哈~~

怎么玩呢？

1）列向量对列向量求导

大家要注意哦，求导结果的每一项，都是元素对向量的求导~~

2）列向量对行向量求导

这个式子拆的比较彻底，大家重点掌握一下，后面还有妙用哦~~

3）行向量对行向量求导

4）行向量对列向量求导

这个也很重要，把这个跟（2）做一下对比记忆。

向量对矩阵的求导

向量对矩阵的求导主要有两种情况：

1）列向量对矩阵的求导。

2）行向量对矩阵的求导。

是不是已经看的眼晕了？还没完呢，继续~~

矩阵对向量的求导

矩阵对向量的求导同样分两种情况，分别是：

1）矩阵对行向量的求导。

2）矩阵对列向量的求导。

矩阵对矩阵的求导

好啦，这是最后一个啦，大家打起精神来~~

矩阵对矩阵的求导，我们可以将其转化为列向量对行向量的求导。

我们把矩阵看做一个列向量、一个行向量，然后利用前面讲过的列向量对行向量的方法计算。这样，每一项就转化为行向量对列向量的计算。

即使如此转化后，看起来仍然很复杂，不过有条不紊的这样抽丝剥茧，肯定能算出最终结果来。

咱们还是用它来做个例子巩固一下~~

小结

今天我们介绍了元素、矩阵和向量的求导法则，虽然看着比较复杂，但实际上都是有章可循的。

在实际场景中，我们并不需要手算，而是借助于计算机程序即可搞定，但我们仍然需要了解这些基本法则，这样才能掌握原理性的东西。

下次我们就运用一下这些法则来证明矩阵迹的相关性质，迹在机器学习中也是运用比较频繁的，大家务必得掌握。