应用性能优化的理论基础

相关定律

• 8:2律 占总代码量20%的代码在执行时将占用全部执行时间的80%
• 木桶原理 木桶的最大容量由其中最短的桶壁木板决定
• Amdahl定律 通过换用更快速执行模式来取得的性能受限于该快速模式所占的时间比例

阿姆达尔定律对于一个固定负债的情况下，整个任务在加速了其中某部分功能的处理速度之后，延迟的理论加速比S阿姆达尔给出了如下公式：

其中p为采取了增强或加速的某部分功能在整个任务中所占的比例，而s为该部分收益的倍数，这样当s趋近于无穷时，整个任务的极限加速比S能够趋近于1-p分之1，这也是加速比的上限。

例如做并行处理时，若串行代码占整个代码的25%的比例，那么可并行部分占75%，即p等于75%，那么并行处理的总体性能的上限为4倍。

从硬件角度来思考软件

冯诺伊曼模型是一种将程序指令计算器和数据寄存器合并在一起的计算机设计概念结构。计算机硬件由运算器、控制器、存储器、输入设备和输出设备五大部分组成，它的主要特点是以运算单元为中心，IO设备与存储器间的数据传输都要经过运算器，存储与计算相分离，并且CPU的运算速度可以达到内存的200多倍。为了提高性能，我们应该尽可能对数据进行重用，通过软件的方法实现对存储访问的减少，从而整体上提高性能。

CPU的流水线技术，可以将指令分解为多部，并且让不同的指令各部操作，相互重叠，从而实现几条指令的高效并行处理，加速程序的运行过程。现在高性能CPU流水线非常复杂，我们就简单来讲。从简单来看，CPU流水线在概念上可以分为两个部分，前端和后端。前端主要负责获取程序代码指令，将其分解为一个或多个可以称为微操作的底层硬件指令。微操作被分配给后端进行执行，后端负责监控微操作的数据核实可用，并且在可用的执行单元中执行微操作。微操作执行完成称为退役，执行结果提交并且返回到CPU寄存器里或者写回内存当中。

初识AI - 基本概念

常用优化方法

• Kerenl优化 函数库层面可以用到Intel核芯函数库MKL和面向深度学习的函数库MKL-DNN。它们都是高度优化的能发挥Intel处理器最优性能的函数库。OpenMP是一种用于共享内存，并行系统的多线程程序设计的库，特别适合于多核心CPU上的并行程序开发设计。Intel还提供了多种寄存器和指令来支持SIMD，即单指令多数据操作。同时，我们还可以以Intrinsic函数的形式来为程序开发者提供SIMD操作的支持
• 图和模型优化 常用的优化方法有Fusion.folding，即图模型的融合。如果允许精度损失的前提下，还可以对模型进行量化和稀疏化
• 图执行器优化 可以通过调整调度机制和修改运行方式来对性能进行优化

英特尔MKL和MKL-DNN简介

Intel数学核心函数库MKL包含了高度线程化和矢量化后的函数，以发挥Intel处理器的最优性能。并且它同时具有C和Fortran的API接口，是一套高度优化线程安全的数学例程和函数。MKL-DNN是Intel开源的面向深度学习的函数库。它是高度优化的适用于深度学习和深度神经网络等计算密集型应用的构建模块，适用于Caffe、TensorFlow和Torch等等。它本身由C++实现，同时提供了C++和C语言的API接口，方便Python及Java等高级语言进行调用。

Intel MKL库支持常见的线性代数函数，例如BLAS、LAPACK函数等等。它还支持快速傅里叶变换，例如多维傅立叶变换。还提供了与FFTW相兼容的函数，让FFTW的用户可以用MKL FFT函数代替原有程序的FFT变换，获得更高的性能。MKL还支持矢量数学常用的三角函数、双曲线函数、指数、对数、幂函数等等函数。还有统计学常用的风度函数、差异系数、方差、协方差等等。除此之外，还有样条函数、新预算法、快速泊松解法等等。MKL-DNN对于深度神经网络常用的卷积、池化、规划、激活函数，例如ReLU、Softmax等等都有很好的支持。

MKL-DNN重点面向深度神经网络，它是一个开源项目，在GitHub上可以免费下载使用（github.com/01org/mkl-dnn）。它的函数实现了高度的矢量化和线程化，从而在英特尔平台上获得了最高的性能。对于英特尔各种硬件资源，MKL-DNN都提供了统一的DNN API接口，方便函数的调用。而且MKL-DNN的更新发布速度很快，能够及时的对主流新函数提供支持。MKL-DNN支持的计算和数据操作，包括卷积、池化、规划等等。它能够借助英特尔体系架构处理器的特性，发挥出硬件的最优性能，并且它支持Float32、Int8、Float16、Bfloat16几种数据类型，同时提供了C和C++的API接口，使用起来非常的用户友好。

模型融合（Fusion）

模型的融合层面，也就是通常提到的Fusion。Fusion的意义在于减少内存或减少计算。

关于调整运行方式

在图执行器层面，还可以通过调整调度机制和修改运行方式开展优化。相关例子如图所示。

优化技术探讨

矩阵乘法（sgemm）

在人工智能的很多常用结构里都会经常用到矩阵乘法的计算，通常这部分会比较耗时，所以也是优化的一个重点。计算矩阵乘法的函数之一就是MKL库中的cblas_sgemm，使用单精度实数。另外还有对应双精度实数、单精度浮数和双精度浮数的函数。

其中，Layout表示二维矩阵存储，是按行优先还是按列优先。transa、transb表示矩阵是否需要做转至。mn分别表示矩阵a的行数和列数。nk表示矩阵b的行数和列数。mk分别代表了矩阵c的行数和列数。alpha和beta是计算公式中的两个参数值。

并行化编程

并行化编程是为了使计算机各路线能够并行工作，多道程序能够更全面的利用计算机资源，从而提高系统效率，减少开销。OpenMP是一种常用的并行化编程API，尤其是和多核CPU上的并行程序开发设计。它支持的语言，包括C、C++和Fortran。同时，适用于绝大多数的平台架构和操作系统，比如Linux、MacOS、Windows。它由一组影响运行时行为的编译器指令、库例程和环境变量组成。

在用OpenMP进行程序开发时，并没有什么需要特别关注的地方，因为现如今大多数编译器已经支持了OpenMP。在编程使我们只需要在特定的源代码片段的前面加入OpenMP专用的预编译指令就可以通知编译器将该个程序自动进行并行化处理，并且在必要的时候加入线程同步及通信机制，当编译器选择忽略预处理指令时，或者编译器不支持OpebMP时，程序又退化为一般的通用串行程序，此时代码依然可以正常运行，只是不能利用多线程和多核CPU来加速程序的执行而已。

Code is copied from github.com/BVLC/caffe/blob/master/src/caffe/layers/conv_layer.cpp

Code is copied from github.com/intel/caffe/blob/master/src/caffe/layers/conv_layer.cpp

假共享是对称多处理器系统，简称SMP上的一种常见性的问题。在SMP系统中，每个处理器均有一个本地高速缓存。内存系统必须保质高速缓存的一致性。当不同处理器上的线程修改驻留在同一高速缓存行中的变量时，就会发生假共享，结果将导致高速缓存行无效，并强制执行更新，进而影响系统的性能。示例如图所示。

灰色箭头表示高速缓存行被加载到CPU0和CPU1的Cache当中。在并行执行时，尽管这些线程修改的是不同的变量，分别是红色和蓝色的箭头，但是元素相邻，高速缓存行仍然会无效，并强制内存更新，以维持高速缓存的一致性。这种现象之所以被称为假共享，是因为每个线程并非真正共享相同变量的访问权，访问同一变量或真正共享要求编程是同步结构，以确保有序的数据访问。要确保多个高速缓存中的数据一致性，英特尔遵循的是MESI协议，即修改独占共享无效协议。另外，编译器可以感知假共享。例如当使用优化选项编译下方代码时，编译器会利用现成专有临时变量消除以上的假共享。

从程序员的角度，避免假共享的主要方式是进行代码检查，潜在的假共享主要出现在线程访问全局或动态分配共享数据结构的例程中。

向量化编程

向量化编程是提高算法速度的一种有效方法，简单来说，目标就是生成SIMD指令。向量化能够很好的提升一些数值运算操作，如矩阵乘、矩阵加、矩阵向量乘法等等的速度。因为对于标量来说，一条指令只执行一个数学运算，但是当对矢量进行计算时，一条指令却可以同时执行多个数学运算。随着各行各业对更高性能的需求持续增强，Intel的指令集架构也在不断的演进中，功能也在不断地拓展完善。

英特尔提供了多种寄存器和指令来支持单指令多数据操作，按时间的先后顺序包括支持64位寄存器的MMX系列、支持128位寄存器的SSE系列、支持256位寄存器的AVX系列和支持512位寄存器的AVX512系列。

为了实现代码的向量化主要有以下这几种方法：

• 编译器 Intel编译器提供了自动向量化的功能，可以利用自动向量分析器对代码进行分析，并且生成SIMD地址，对程序进行一些自动的向量化优化。它也会提供pragma等方式使得用户能够更好的处理代码来帮助编译器进行向量化
• Intrinsic函数 这是一种编译器特殊函数。它的行为类似于C++的内联函数，但是由于它是编辑器提供的，所以编译器对其更加了解，也更利于它的优化。编译器生成代码的时候直接在调用的地方插入代码，而不是调用该函数，即避免了调用函数所产生的额外开销，又能够使用比较高效的机器指令对函数进行优化。
• JIT 即动态编译，边运行边编译。它的优势在于能够根据当前硬件情况和当前程序的运行实时地编译生成最优的指令，还可以根据进程中内存的使用情况，调整代码，使内存能够更加充分地得到利用
• 汇编代码 比如C或C++与汇编混合编程，用C和C++程序嵌入汇编程序中，可以实现一些高级语言没有的功能，从而提高程序执行的效率

Example is from https://software.intel.com/en-us/articles/using-avx-without-writing-avx-code

优化案例分享

BERT 模型优化

一个标准的BERT模型行层数有12层，其中的处理运算也是整个模型最耗时的部分，所以这也是我们优化的重点。针对BERT我们采取的主要优化方法是模型的变换。从模型层面来讲，原模型中的OP太多太散，调度上面的开销和内存分配上的开销比较大，所以我们把12个层里所有的OP通过手写C++代码进行了对应函数和功能的实现，并且在实现的过程中，调用了很多高效的Intel MKL核心函数库里的函数，从而提高了计算的效率。并且通过调整内存访问方式，移除了不必要的Transpose操作，也就是矩阵的转置操作。然后通过向TensorFlow注册新OP来实现对手写Bert OP的调用，从而在整体上获得了BERT模型的性能提升。

采取这种优化方法优点在于它可以很快的得到实现与部署并且性能提升非常显著，通过向TensorFlow注册新OP的方式，我们也无需重新编译安装向TensorFlow，只需要加载新OP的动态库，即可对新的Bert OP实现轻松的调用，并且也同时适用于向TensorFlow Serving。但是，这种方法也还存在着一些不足之处。

如何调整内存访问的方式来避免Transpose操作如图所示。

二位矩阵Reshape成三维过后，它的内存访问顺序是按照图中黑色框图从框图左下角开始往右往前延伸，然后框图整体从上往下走的。Reanspose之后，第一二个维度互换，它的内存访问顺序就变成了绿色框图，从左上角向右向下延展，框图整体上市从左向右走的。其实我们并不需要真正调用Transpose转置函数来改变它在内存中的存储方式，只需要把它看成12个矩阵，每一个带768的步长，那么就可以在768的步长之后访问到内存中相应的元素，从而移除了实际上冗余的转置操作，获得了性能上的提升。

语音合成（Wavenet in Tacotron-2）

模型案例结合Wavenet的Tacotron-2。Tacotron-2是谷歌推出的直接从文本中合成语音的神经网络结构，它结合了Wavenet和Tacotron的优势，不需要任何语法知识即可直接输出文本对应的语音，左图为Tacotron-2的详细架构。

LSTM 优化

LSTM是一种时间循环神经网络，它可以避免常规RNN梯度消失的问题，适合于处理和预测时间序列中间隔和延迟非常长的时间。计算公式里面的原本的方式是横向按顺序存储这些weights，这样虽然实现起来很简单也比较通俗易懂，但是每次当我们进入网络来计算四条公式的时候，需要4次访问W数组，4次访问U数组。

Intel所采用的优化方式是将这些weights按纵向存储，那么每次我们只需要访问一次W数组机可以对四条公式进行计算。这种方式下就减少了对内存的访问时间，提高了执行效率，性能达到了1.5倍的提升。