并行计算的量化模型及其在深度学习引擎里的应用
天下武功，唯快不破。怎么更快地训练深度学习模型是业界一直关注的焦点，业界玩家或开发专用硬件，或开发软件框架，各显神通。当然，这些定律在计算机体系结构的教材和文献中都可看到，譬如这本《计算机体系结构：量化研究方法（ComputerArchitecture:aQuantativeApproach）》，但本文的价值在于有针对性地挑选最根本的几条定律，并结合深度学习引擎来理解。1关于计算量的假定在研究并行计算的定量模型之前，我们先做一些设定。对于一个具体的深度学习模型训练任务，假设总的计算量V固定
天下武功，唯快不破。怎么更快地训练深度学习模型是业界一直关注的焦点，业界玩家或开发专用硬件，或开发软件框架，各显神通。
当然，这些定律在计算机体系结构的教材和文献中都可看到，譬如这本《计算机体系结构：量化研究方法 （ Computer Architecture: a Quantative Approach ）》，但本文的价值在于有针对性地挑选最根本的几条定律，并结合深度学习引擎来理解。
1 关于计算量的假定
在研究并行计算的定量模型之前，我们先做一些设定。对于一个具体的深度学习模型训练任务，假设总的计算量V固定不变，那可以粗略认为只要完成V这个量级的计算，深度学习模型就完成训练。
GitHub这个页面（ https://github.com/albanie/convnet-burden ）罗列了常见CNN模型处理一张图片所需的计算量，需要注意的是，本页面列出的是前向阶段的计算量，在训练阶段还需要后向阶段的计算，通常后向阶段的计算量是大于前向计算量的。这篇论文（ https://openreview.net/pdf?id=Bygq-H9eg ）对训练阶段处理一张图片的计算量给出了一个直观的可视化结果：
以ResNet-50为例，训练阶段处理一张224X224x3的图片需要8G-Ops （约80亿次计算），整个ImageNet数据集约有120万张图片，训练过程需要对整个数据集合处理90遍（Epochs），粗略估计，训练过程共需要(8*10^9) *(1.2*10^6)* 90 = 0.864*10^18次运算，那么ResNet-50训练过程的总计算量大约是10亿乘以10亿次运算，我们可以简单地认为，只要完成这些计算量就完成了模型运算。 深度学习计算引擎的目标是以最短的时间完成这个给定的计算量。
2 关于计算装置的假定
本文仅限于下图所示的以处理器为中心的计算装置（Processor-centric computing)，以内存为中心的计算（Processing in memory）装置在业界有探索，但还不是主流。
上图所示的计算装置中Computing Unit可以是通用处理器如CPU, GPGPU, 也可以是专用芯片如TPU等。如果Computing Unit是通用芯片，通常程序和数据都存储在Memory Unit，这也是现在最流行的冯诺依曼结构计算机。
如果Computing Unit是专用芯片，通常只有数据存储在Memory Unit。Communication Unit负责把数据从Memory Unit搬运给Computing Unit，完成数据加载（load），Computing Unit拿到数据后负责完成计算（数据的形式转换），再由Communication Unit把计算结果搬运到Memory Unit完成数据存储（Store）。
Communication Unit的传输能力通常用访存（Memory access）带宽beta表示，即每秒钟可以搬运的字节数，这通常和线缆数和信号的频率相关。Computing Unit的计算能力通常用吞吐率pi表示，即每秒钟可以完成的浮点计算次数（flops），这通常和计算单元上集成的逻辑运算器件个数及时钟频率有关。
深度学习引擎的目标是通过软硬件协同设计使得该计算装置处理数据的能力最强，即用最短的时间完成给定的计算量。
3 Roofline Model: 刻画实际计算性能的数学模型
一个计算装置执行一个任务时能达到的实际计算性能（每秒钟完成的操作次数）不仅与访存带宽beta以及计算单元的理论峰值pi有关，还和当前任务本身的 运算强度 （Arithemetic intensity，或Operational intensity）。
任务的运算强度定义为每字节数据需要的浮点计算次数，即Flops per byte。通俗地理解，一个任务运算强度小，表示Computing Unit在Communication Unit搬运的一个字节上需要执行的运算次数少，为了让Computing Unit在这种情况下处于忙碌状态，Communication Unit就要频繁搬运数据；
一个任务运算强度大，表示Computing Unit在Communication Unit搬运的一个字节上需要执行的运算次数多，Communication Unit不需要那么频繁地搬运数据就能使Computing Unit处于忙碌状态。
首先，实际计算性能不会超越计算单元的理论峰值pi。其次，假如访存带宽beta特别小，1秒钟仅能把beta个字节从内存搬运到Computing Unit，令I表示当前计算任务中每个字节需要的操作次数，那么beta * I 表示1秒钟内搬运过来的数据实际需要的操作次数，如果beta * I < pi，则Computing Unit就不会饱和，也表示Computing Unit的利用率低于100%。
Roofline model 就是一种根据访存带宽，计算单元峰值吞吐率，任务的运算强度三者关系来推断实际计算性能的数学模型。由David Patterson团队在2008年发表在Communications of ACM上（ https://en.wikipedia.org/wiki/Roofline_model ），是一种简洁优雅的可视化模型：
图1：Roofline Model
图1横轴的自变量表示不同任务的运算强度，即每字节需要的浮点运算次数。纵轴的因变量表示实际可达的计算性能，即每秒钟执行的浮点运算次数。上图展示了两个运算强度分别为I_1和I_2的任务能实际达到的计算性能，I_1的运算强度小于pi/beta，称为访存受限任务，实际计算性能beta * I_1低于理论峰值pi。
I_2的运算强度高于pi/beta，称为计算受限型任务，实际计算性能达到理论峰值pi，访存带宽仅利用了pi/(I_2*beta)。图中斜线的斜率为beta，斜线和理论峰值pi 水平线的交点称为脊点（Ridge point），脊点的横坐标是pi/beta，当任务的运算强度等于pi/beta时，Communication Unit和Computing Unit处于平衡状态，哪一个都不会浪费。
回顾深度学习引擎的目标“ 以最短的时间完成给定的计算量 ”，就要最大化系统的实际可达的计算性能。为了实现这个目标，有几种策略可用。
图1中的I_2是计算受限型任务，可以通过 增加Computing Unit的并行度 并进而提高理论峰值来提高实际计算性能，譬如在Computing Unit上集成更多的运算逻辑单元（ALU）。具体到深度学习场景，就是增加GPU，从一个GPU增加到几个GPU同时运算。
如图2所示，当在Computing Unit内增加更多的并行度后，理论峰值高于beta * I_2，那么I_2的实际计算性能就更高，只需要更短的时间就可以。
图2：提高Computing Unit的理论峰值来提高实际计算性能
图1中的I_1是访存受限型的任务，则可以通过 改善Communication Unit的传输带宽 来提高实际计算性能，提高数据供应能力。如图3所示，斜线的斜率表示Communication Unit的传输带宽，当斜线的斜率增大时，I_1由访存受限型任务变成计算受限型任务，实际计算性能得到提高。
图3：提高Communication Unit的数据供应能力来提高实际计算性能
除了通过改善硬件的传输带宽或者理论峰值来提高实际计算性能外，还可以通过 改善任务本身的运算强度 来提高实际计算性能。同样的任务可以有多种不同的实现方式，不同实现方式的运算强度也存在差别。运算强度由I_1改造成超过pi/beta后，就变成计算受限型任务，实际计算性能达到pi，超过原来的beta*I_1。
在实际的深度学习引擎里，以上三种手段（提高并行度，改善传输带宽，使用运算强度更好的算法实现）都会用到。
4 Amdahl's Law: 如何计算加速比？
图2 的示例通过增加Computing Unit的并行度来提高实际计算性能，到底能把任务的执行时间缩短多少呢？这就是加速比问题，也就是效率提高了几倍。
为了讨论方便，（1）我们假设当前的任务是计算受限型，令I表示运算强度，即I*beta>pi。在把Computing Unit的运算单元增加s倍后，理论计算峰值是s * pi，假设该任务的运算强度I足够高，使得在理论峰值提高s倍之后仍是计算受限型，即I*beta > s*pi；（2）假设没有使用流水线，Communication Unit和Computing Unit总是顺序执行（后文我们将专门讨论流水线的影响）。让我们来计算一下任务执行效率提高了几倍。
在理论峰值是pi的初始情况下，1秒钟Communication Unit搬运了beta字节的数据，Computing Unit需要(I*beta)/pi 秒来完成计算。即在1+(I*beta)/pi 秒时间内完成了I*beta的计算，那么单位时间内可以完成（I*beta) / (1 + (I*beta)/pi) 的计算，假设总计算量是V，则一共需要t1=V*(1+(I*beta)/pi)/(I*beta) 秒。
通过增加并行度把理论计算峰值提高s倍之后，Communication Unit搬运beta字节的数据仍需要1秒钟，Computing Unit需要(I*beta)/(s*pi)秒来完成计算。假设总计算量是V，那么共需t2=V*(1+(I*beta)/(s*pi))/(I*beta)秒完成任务。
计算t1/t2即获得加速比：1/(pi/(pi+I*beta)+(I*beta)/(s*(pi+I*beta)))，很抱歉这个公式比较难看，读者可以自己推导一下，比较简单。
在理论峰值是pi时，搬运数据花了1秒，计算花了(I*beta)/pi 秒，那么计算时间占的比例是 (I*beta)/(pi + I*beta)，我们令p表示这个比例，等于(I*beta)/(pi + I*beta)。
把p代入t1/t2的加速比，可以得到加速比为1/(1-p+p/s)，这就是大名鼎鼎的Amdahl's law（ https://en.wikipedia.org/wiki/Amdahl%27s_law ）。其中p表示原始任务中可以被并行化部分的比例，s表示并行化的倍数，则1/(1-p+p/s)表示获得的加速比。
让我们用一个简单的数字演算一下，假设Communication Unit搬运数据花了1秒钟，Computing Unit需要用9秒钟来计算，则p=0.9。假设我们增强Computing Unit的并行度，令其理论峰值提高3倍，即s=3，则Computing Unit只需要3秒钟就可以完成计算，那么加速比是多少呢？利用Amdahl's law可以得知加速比是2.5倍，加速比2.5小于Computing Unit的并行度倍数3。
我们尝到了增加Computing Unit并行度的甜头，能不能通过进一步提高并行度s来获得更好的加速比呢？可以。譬如令s=9，那么我们可以获得5倍加速比，可以看到提高并行度的收益越来越小。
我们能通过无限提高s来提高加速比吗？可以，不过越来越不划算，试想令s趋于无穷大（即令Computing Unit理论峰值无限大），p/s就趋于0，那么加速比最大是1/(1-p)=10。
只要系统中存在不可并行的部分（Communication Unit），加速比不可能超过1/(1-p)。
实际情况可能比加速比上限1/(1-p)要更差一些，因为上述分析假设了运算强度I无穷大，而且在增加Computing Unit并行度时，通常会使得Communication Unit的传输带宽下降，就使得p更小，从而1/(1-p）更大。
这个结论令人很悲观，即使通信开销（1-p）只占0.01,也意味着无论使用多少并行单元，成千上万，我们最大只能获得100倍的加速比。有没有办法让p尽可能接近1，也就是1-p趋近于0，从而提高加速比呢？有一枚灵丹妙药：流水线。
5 Pipelining: 灵丹妙药
在推导Amdahl's law时，我们假设了Communication Unit和Computing Unit串行工作，总是先令Communication Unit搬运数据，Computing Unit再做计算，计算完成再令Communication Unit搬运数据，再计算，如此循环往复。
能不能让Communication Unit和Computing Unit同时工作，一边搬运数据一边计算呢？如果Computing Unit每计算完一份数据，就立刻可以开始计算下一批数据，那么p就几乎是1，无论并行度s提高多少倍，都能获得线性加速比。让我们研究一下什么条件下可以获得线性加速比。
图4：（同图1）Roofline Model
图4中的I_1是通信受限型任务，1秒钟Communication Unit可以搬运beta字节的数据，处理这beta字节Computing Unit需要的计算量是beta*I_1次操作，理论计算峰值是pi，一共需要(beta*I_1)/pi秒完成计算。
对于通信受限型任务，我们有beta*I_1 图4中的I_2是计算受限任务，1秒钟Communication Unit可以搬运beta字节的数据，处理这beta字节Computing Unit需要的计算量是beta*I_2次操作，理论计算峰值是pi，一共需要(beta*I_2)/pi秒完成计算。对于计算受限型任务，我们有 beta*I_2>pi，所以Computing Unit的计算时间是大于1秒的。 这也就意味着，每花1秒钟搬运的数据需要好几秒才能计算完，在计算的时间内有充足的时间去搬运下一批数据，也就是计算时间能掩盖住数据搬运时间，p最大是1，只要I是无穷大，加速比就可以无穷大。 使得Communication Unit和Computing Unit重叠工作的技术叫流水线（ Pipelinging: https://en.wikipedia.org/wiki/Pipeline_(computing) ）。是一种有效地提高Computing Unit利用率和提高加速比的技术。 上文讨论的各种量化模型对深度学习引擎研发同样适用，譬如对于计算受限型任务，可以通过增加并行度（增加显卡）来加速；即使是使用同样的硬件设备，使用不同的并行方法（数据并行，模型并行或流水线并行）会影响到运算强度I，从而影响实际计算性能；分布式深度学习引擎包含大量的通信开销和运行时开销，如何减小或掩盖这些开销对于加速效果至关重要。 在Processor-centric计算装置的视角下理解基于GPU训练深度学习模型，读者可以思考一下怎么设计深度学习引擎来获得更好的加速比。 在单机单卡情况下，只需要做好数据搬运和计算的流水线，就可以做到GPU 100%的利用率。实际计算性能最终取决于底层矩阵计算的效率，也就是cudnn的效率，理论上各种深度学习框架在单卡场景不应该存在性能差距。 如果想在同一台机器内部通过增加GPU来获得加速，与单卡场景相比，增加了GPU之间数据搬运的复杂性，不同的任务切分方式可能会产生不同的运算强度I（譬如对卷积层适合做数据并行，对全连接层适合模型并行）。除了通信开销，运行时的调度开销也会影响加速比。 多机多卡场景，GPU之间数据搬运的复杂性进一步提高，机器之间通过网络搬运数据的带宽一般低于机器内部通过PCIe搬运数据的带宽，这意味着并行度提高了，可数据搬运带宽降低了，代表着Roofline model中斜线的斜率变小了，CNN这种适合数据并行的场景通常意味着比较高的运算强度I，而还有一些模型譬如RNN/LSTM，运算强度I就小很多，这也意味着流水线中的通信开销更难以掩盖了。 有用过分布式深度学习引擎的读者应该对软件框架的加速比有切身的体会，基本上，卷积神经网络这种适合数据并行（运算强度I比较高）的模型通过增加GPU来加速的效果还是比较令人满意的，然而，还有很大一类神经网络使用模型并行的运算强度才更高一点，而且即使使用模型并行，其运算强度也远低于卷积神经网络，对于这些应用如何通过增加GPU并行度来获得加速是业界尚未解决的难题。 在之前的深度学习评测中，甚至发生了使用多GPU训练RNN速度比单个GPU还要慢的情况（ https://rare-technologies.com/machine-learning-hardware-benchmarks/ ）。无论使用什么技术解决深度学习引擎的效率问题，万变不离其宗，为了提高加速比，都是为了减小运行时开销，选择合适的并行模式来提高运算强度，通过流水线掩盖通信开销，也都在本文描述的基本定律涵盖的范围之内。6 并行计算的量化模型对深度学习引擎的启发
7 总结
Adobe Acrobat Pro 是面向办公、法务、财务、教育及出版用户的专业PDF处理软件，可在Mac上创建、编辑、转换、合并和保护文档，并提供OCR文字识别、表单、批注、内容比较、敏感信息遮盖及电子签名功能。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Affinity Designer 的矢量设计能力现已整合进 Affinity by Canva，可在 Mac 上进行标志、图标、插画、界面原型及印刷品设计。个人用户使用免费 Canva 账户即可使用完整的矢量、像素和版面工具。
Archicad是Graphisoft推出的建筑信息模型设计软件，可在Mac上完成概念设计、参数化建模、图纸编制、工程量统计、渲染展示及团队协同。模型与平立剖面、明细表和布局保持关联，适合建筑师、室内设计师、BIM团队及相关专业学生使用。
AutoCAD LT是Autodesk推出的专业二维CAD设计与文档编制软件，Mac版本提供原生界面、多点触控及分屏查看体验。用户可精确创建和编辑DWG图形，完成图层管理、尺寸标注、表格、PDF参考、外部参照及打印输出。
AutoCAD for Mac 是 Autodesk 面向 macOS 提供的专业计算机辅助设计软件，支持精确的二维绘图、标注、布局输出以及实体、曲面和网格建模。软件采用适配 Mac 操作习惯的界面，可处理 DWG 图纸。
Autodesk Fusion 是面向产品设计与制造的一体化云连接平台，在 Mac 上提供参数化建模、自由曲面、装配、工程图、仿真、PCB 设计和 CAM 加工等工具。它适合机械工程师、工业设计师、创客及制造团队使用。
Autodesk Maya是一套面向影视动画、游戏开发和视觉特效制作的专业三维创作软件，集多边形与曲面建模、角色绑定、关键帧动画、动力学模拟、程序化特效及Arnold渲染于一体，并提供脚本、插件和开放式制作管线支持。
Blender是一款免费开源的综合三维创作软件，可在Mac上完成建模、数字雕刻、材质制作、角色绑定、动画、物理模拟、渲染、合成及视频剪辑。软件提供Cycles与Eevee渲染工具，并支持几何节点、蜡笔绘制和Python扩展。
AutoCAD 是 Autodesk 推出的专业计算机辅助设计软件，Windows 版支持精确二维绘图、三维实体与曲面建模、图纸标注、布局发布和任务自动化，并包含多套行业专业化工具组合，适用于建筑、机械、电气、工程建设及制造设计人员。
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Cinema 4D是Maxon推出的专业三维创作软件，将建模、动画、MoGraph动态图形、粒子与动力学模拟、材质灯光及Redshift渲染整合在统一工作环境中，适用于广告包装、影视特效、产品和建筑可视化、游戏素材等制作场景。
Blender 是免费开源的三维创作套件，在 Windows 上提供建模、雕刻、材质、动画、物理模拟、合成、跟踪、视频剪辑及 Cycles、EEVEE 渲染工具。它适合个人创作者、学生和小型工作室，
Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件，集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体，
SketchUp Pro 是面向建筑、室内、景观、施工和产品设计等专业场景的三维建模工具，提供桌面建模、LayOut 二维文档、模型资源库、扩展程序及云端协作能力。其操作逻辑直观，适合从概念推敲、空间规划到图纸表达和方案汇报的完整工作流程。