图灵奖得主Jack Dongarra：高性能计算与AI大融合，如何颠覆科学计算
Air Explorer Pro是一款跨平台多网盘管理工具，可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
在过去的三十年间，高性能计算（HPC）取得了突飞猛进的进展，在科学计算等领域发挥着重要的作用。而当前，云计算和移动计算正逐渐成为主流的计算范式，与此同时深度学习等AI方法所带来的颠覆性影响，给HPC与AI的融合带来了新的挑战和机遇。在第十届全国社会媒体处理大会（SMP2022）上，图灵奖得主JackDongarra梳理了高性能计算近年来最主要的应用和发展。JackDongarra，高性能计算专家，2021年图灵奖获得者，美国田纳西大学创新计算实验室主任。其对数值算法和库的开创性贡献，使高性能计算软件
在过去的三十年间，高性能计算（HPC）取得了突飞猛进的进展，在科学计算等领域发挥着重要的作用。而当前，云计算和移动计算正逐渐成为主流的计算范式，与此同时深度学习等AI方法所带来的颠覆性影响，给HPC与AI的融合带来了新的挑战和机遇。在第十届全国社会媒体处理大会（SMP 2022）上，图灵奖得主Jack Dongarra梳理了高性能计算近年来最主要的应用和发展。
Jack Dongarra，高性能计算专家，2021年图灵奖获得者，美国田纳西大学创新计算实验室主任。其对数值算法和库的开创性贡献，使高性能计算软件在四十多年中与硬件的指数级改进保持同步。他获得过诸多学术成就，包括 2019 年他获得 SIAM / ACM 计算科学与工程奖，2020 年他因高性能数学软件领域的领导能力获得 IEEE 计算机先锋奖。他是 AAAS、ACM、IEEE 和 SIAM 的研究员，英国皇家学会的外国研究员，以及美国国家工程院的成员。
1 高性能计算广泛应用于科学的“第三极”
当前，高性能计算（HPC）方法广泛地应用于科研仿真，而仿真也被誉为科学研究的“第三极”。一直以来，科学研究和工程研究通常采用基于理论和实验的范式。然而，这两种方法存在很多固有的限制，比如，通常建造大型的风洞非常的困难，试验飞机引擎与飞鸟碰撞的成本将非常昂贵，等待观察气候变化将会非常的耗时与缓慢，新药品和武器等试验将会非常的危险等等。此外，我们有时无法通过实验来研究某些问题，比如研究星系运动和研发新药品等。因此，研究者们逐渐利用科学计算手段进行仿真，研究此类问题。这种方法通常基于已知的物理规律和数字计算方法，通过高性能的计算机系统仿真相应的物理现象。
2 算力之巅——超级计算机
人们一般基于商品化的成熟芯片构建典型的超级计算机，在一个板卡上集成多个芯片，每个芯片中都拥有多个核心（Core）。同时，通常会在板卡上使用图形处理单元（GPU）等作为增强算力的加速器。在同一机架柜上，不同的板卡通过高速的链接进行通信，不同的机柜通过交换机（switch）互联在一起，这样组成的一个超级计算机可能需要占用两个网球场那么大的空间。
这样的超级计算机的并行性非常之高，通常采用的是分布式内存和「MPI+Open-MP」的编程范式。与数据的浮点计算相比，在HPC系统不同部分之间数据的移动非常的昂贵。现有的超级计算机支持包括64，32，16，8等位宽的不同的精度的浮点计算。
当前，最快的超级计算机能够提供Exaflop/s级别（1018）的算力。这是一个非常巨大的数值，如果每个人一秒钟完成一次乘加计算，那么，需要全球所有人花费四年的时间才能完成超级计算机一秒钟完成的计算。同时，为了维持这样的超级计算机的运转，每年需要花费千万美元的电费。
从过去近三十年间全球超级计算机TOP500的性能变化情况可以发现，超算性能近乎保持着指数级的增长速度。有趣的是，如今日常所用的MacBook的性能，比1993年当时世界上最先进的超级计算机的性能还要强大，当时那台计算机制造于洛斯阿拉莫斯国家实验室，主要用于核武器设计。今年6月的数据显示，全球排名前10的超级计算机当中，有5个来自美国，有2个来自中国（分别位于无锡和广州），其余3个来自芬兰、日本和法国。
3 “和而不同”的HPC & ML/AI
HPC和ML计算有着即相似又不同的特性。HPC属于数字计算密集型的，通常输入非常有限的数据，经过非常大量的数字计算，输出大量的数据。而在ML领域进行高性能数据处理（HPDA），通常需要输入大量的数据，输出的却是相对比较少的数据。两者使用的数据精度也非常不同，在科学仿真等高性能计算场景下通常使用64比特浮点数据，而在机器学习场景下会使用16比特浮点数据。
AI在科学研究的诸多不同的方面发挥着非常重要的作用：AI能够在不同领域辅助科学发现，提高计算体系结构的性能，以及在边缘管理和处理大量数据。因此，在科学计算领域机器学习等技术被应用到气候学、生物学、药学、流行病学、材料学、宇宙学甚至高能物理等等很多学科以提供增强的模型和更先进的仿真方法。比如，用深度学习辅助药品研发、预测流行病以及对基于医学影像的肿瘤进行分类等等。
科研仿真和AI计算可以非常有效地进行联合，因为二者都需要模型和数据。通常，仿真使用（数学）模型产生数据，（AI）分析使用数据来生成模型。使用分析方法得到的模型和其他的模型一起可以被用到仿真中去；仿真产生的数据和其他来源的数据一起可以被用于分析。这样就形成了一个相互促进的良性循环。
除了在具体的应用领域相互补充之外，HPC&AI在基本开发方法、软件与软件基础设施和AI硬件架构等领域都有非常多的联系。同时也将二者更广泛地联系起来，比如：AI可以用来引导仿真、更快地调整仿真应用的参数、提供定制化的计算核函数，以及将传统的HPC和神经形态计算相结合等很多内容。AI&ML具有颠覆性的影响力，正如通常所说：「AL&ML并不会代替科学家，但是使用AI&ML工具的科学家会代替那些不使用这些工具的科学家」。
4 展望未来：HPC系统将更加定制化
未来的HPC系统将可以被定制化。当前，HPC主要有CPU和GPU两种类型的处理器，未来将采用更多不同的单元，比如FPGA、ML加速器和ASIC芯片等等。更多采用不同结构和范式的处理器将会越来越多地添加HPC计算系统当中，比如神经形态处理处理、量子计算以及光计算等或将发挥越来越重要作用。在构建新的HPC系统的时候，人们将能够按需使用相应的模块与功能。
5 总结
HPC硬件在不断地演进，有标量计算机器、向量计算机器、分布式系统、加速器以及混合精度计算机器等等。当前计算机领域发生着三个重大的变化，高性能计算、深度学习、以及边缘计算与人工智能。算法和软件应该随着硬件不断的进化，正如Leiserson等人的论文所述，在摩尔定律之后，仍然存在很大的空间可以通过算法、软件和硬件架构去提升HPC系统的终极性能。
6 Q&A
问题１：当前，业界和学界都比较关注神经网络大模型的训练，比如GPT3等具有超过１７0０亿的参数量，通常需要百个高性能的GPU训练１～３个月。未来采用高性能计算机可以在几天或几个小时内完成相关的训练吗？
回答1：GPU给计算机提供了强大的数值计算的能力。例如，超级计算机中98％的算力来自于GPU。而在CPU和GPU之间移动数据非常耗时。为了减少成本高昂的数据移动，可以通过将GPU和CPU距离更加贴近的方法，采用Chiplet等芯片设计方法或更为切实可行的实现路径。另外，直接将数据和对应的处理单元离得更近的方法对于解决数据搬运成本高昂的问题也将非常有帮助。
问题2：我们观察到一个现象，当前很多机器学习算法可以和硬件一起演化，并且相互影响。比如，当前ML领域性能最好的Transformer模型，英伟达等公司专门为其设计了专用的架构，使得Transformer更好用。您是否观察到这样的现象，如何评论？
回答2：这是一个非常好的例子，展现了硬件设计和其他方面的相互促进。当前很多硬件研究人员密切关注行业的变化，并对趋势做出判断。将应用与硬件进行联合设计可以显著地提升性能，进而销售更多的硬件。我认同这种「算法和硬件共同演化」的说法。
问题3：您指出未来高性能计算将是一个异构的混合体。集成这些部分将是一个非常困难的问题，甚至将会导致性能的降低。如果我们只是单纯地使用GPU，可能会导致更好的性能。您如何评价？
回答3：当前，高性能计算机中将CPU和GPU非常松散地耦合在一起，需要将数据从CPU传输到GPU上进行计算。未来，采用不同的硬件相互耦合到一起的趋势会继续延续。比如，使用专门的硬件做ML计算，可以是对GPU的进一步的增强。通过将ML相关的算法加载到对应的加速器上，在加速器上执行算法的细节并将计算结果传输给对应的处理器。未来也可实现可插拔的量子加速器，使其执行对应的量子算法等等。
问题4：HPC是非常昂贵的，尤其对于研究者和中小企业而言。是否存在类似云计算等方式能够让从事研究的师生和中小企业也用得起HPC？
回答4：在美国，使用HPC需要向有关部门提交相关的申请，说明正在研究的问题和需要的计算量。如果得到批准，就不用担心HPC使用的费用问题。在美国进行过一项是否应该将所有的HPC转变为基于云的系统的研究。结果表明，基于云的方案比直接使用HPC系统贵２－３倍。需要注意的是这背后的经济学假设：HPC被足够多的人共同使用，并且需要解决的问题有时需要使用整个HPC系统。这种情形下拥有一个专用的HPC更优于购买云服务。在美国和欧洲所观察到的现状是这样。
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Premiere Pro 是面向专业视频制作的非线性剪辑软件，提供多轨时间线、调色、音频处理、字幕、代理工作流和多格式输出能力，并可与 After Effects、Audition、Photoshop 及 Frame.io 协同
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件，支持 Windows、macOS 和 iPad 等平台，广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。