2019新年致辞：学习深度学习

机器学习都是瞎整，拍脑袋出来的经验，没有数学理论支撑。

2018一整年，草稿纸写了几百页，代码写了几万行，多方转战，成绩只有2个，发现的难题却不少。

应用最广泛的逻辑回归，过拟合的原因找到了，不是教科书说的那样。

找到了一个围出凸区域的模型，严格凸函数，任意初值都收敛到全局最优。但除了点击预测，还没找很好的用武之地。

对点击预测课题，逻辑回归、因子分解机这些传统机器学习算法遇到了瓶颈，与神经网络的各种结合也没多大效果。不行的根本原因是什么？是大家还没有找到为什么不行。我从几十次失败中发现，正样本没有局部聚集，散落在大堆负样本里，神经网络很难拟合离散点，所以失败。

对图像分类、目标检测、语义分割课题，网络结构花样百出，但仔细一想，这些课题都还没有严谨的数学定义，离理论化体系化还很远，深度学习的好戏还在后头。

全连接网络的作用概括起来是这样：将非凸区域变换成凸区域。这也说明了为什么必须有非线性激活函数。定义域有可能是多连通区域，值域是单连通，这也许是常常陷入局部最优解的原因。

批量归一化(batch normalization)有严密数学证明支撑，很少见，但它带来不少计算量，想到一个无计算量的替代办法，也许有效（历史成功率约2%），期待实测效果。

2019年，深度学习工程上可干的课题很多，思路也清晰。模型设计却看不清，看谁的脑袋拍得好吧。