对话芯展速许玮：“内存墙”下，AI缺的是GPU的“放大器”
AI竞争转向算力效率，“内存墙”成为核心瓶颈，导致GPU有效算力利用率仅三成至七成。通过存储扩展显存，构建由HBM、DRAM和SSD组成的三级存储体系，可大幅提升GPU利用率与推理性能，推动算力平权，降低AI应用门槛，实现普惠智能。
Token经济时代，衡量AI价值的标准，正在悄然发生转变。过去大家比拼的是模型参数有多大、算力有多强，但如今，核心指标已经转向了Token的生产效率。AI也从单纯的工具，演变成了新的关键生产要素。而存储，则从过去的资源供给角色，升级为支撑Token持续、高效生产的系统级能力。
过去几年，AI行业信奉一个很朴素的逻辑：算力不够？那就堆更多的GPU，买更贵的GPU。但对于中小企业和个人开发者来说，这通常只能望“卡”兴叹。然而，在疯狂追逐算力的时候，一个更关键的事实被忽略了——GPU的有效算力利用率，其实只有30%到60%。
2026年5月的Dell World大会上，英伟达CEO黄仁勋对彭博社的表态，可谓一针见血：“当前AI产业最大的制约因素根本不是GPU算力，而是存储。”他进一步解释，GPU大部分时间都在等待数据。当大模型推理从“以算力为中心”走向“以效能为核心”，数据和存储才是下一阶段AI基础设施的核心命题。
“AI的竞争，本质上是算力效率的竞争。”芯展速产品副总裁许玮表示，推理成本的优化，已经不能单纯靠堆叠算力来解决，而是转向了数据和存储“存算协同”的系统级效率提升。核心任务，是如何在有限的条件下，去尽最大可能挖掘每一块GPU的利用率，进而实现算力的平权。
内存墙，AI发展的新瓶颈
算力，是AI时代绕不过去的词语。
这几年，AI产业的竞争几乎都围绕着“算力”展开。无论是英伟达GPU持续供不应求，还是云厂商不断扩建AI数据中心，行业普遍认为，只要拥有更多GPU，就意味着更强的算力。然而，随着大模型推理和AI Agent进入规模化应用，一个越来越明显的现象出现了：GPU越来越强，但真正能释放出来的算力却没有同步提升。
据许玮透露，即便是英伟达最新一代的GPU，在实际推理场景中，有效算力利用率也普遍只有30%到70%。大量昂贵的计算资源，并没有持续处于计算状态，而是在等待数据。
问题的根源，在于AI计算体系出现了越来越严重的“算存失衡”。
AI推理并不是一个单纯的计算过程，而是一个完整的数据流动过程。模型参数需要不断读取，KV Cache需要持续更新，数据需要在GPU、显存、CPU以及存储系统之间频繁交换。计算、存储、通信三个环节环环相扣，任何一个环节跟不上，都会拖慢整个系统的效率。
过去二十年，GPU计算能力实现了跨越式增长，整体算力提升了约6万倍。相比之下，显存容量却仅增长了几十倍。计算能力与存储能力增长速度的巨大落差，使得数据供应速度远远赶不上GPU计算速度，一道越来越宽的“内存墙”由此形成。
许玮指出，“内存墙”让昂贵的算力芯片普遍处于“吃不饱”的等待状态，正在成为AI推理性能的核心瓶颈。现在，这一矛盾被进一步放大。算力越堆越多，能用的却越来越少。
随着模型参数不断增加、上下文窗口持续扩展，以及AI Agent需要处理更长、更复杂的任务链路，推理过程中KV Cache规模迅速膨胀，占用了大量GPU显存。当显存资源不足时，系统不得不频繁在GPU、CPU内存和存储之间进行数据交换，甚至重复计算历史Token。这不仅增加了推理延迟，也进一步降低了GPU利用率。
从本质上来看，“内存墙”并非单纯的存储容量不足，而是计算能力增长速度远远超过数据供给能力所形成的一种系统性瓶颈。当算力与存储无法保持同步演进，GPU便难以持续“吃饱”，整个AI基础设施的性能天花板，也不再由计算芯片决定，而是开始受到存储架构和数据流动效率的制约。
“因此，对于当前AI产业而言，真正需要解决的问题，已经不是如何继续堆叠更多算力，而是如何打破‘内存墙’，让已有算力得到更充分、更高效的释放。”许玮说道。
不堆算力，用存储扩展显存
事实上，无论是消费级的RTX 5090，还是数据中心的B300，都同样面临“内存墙”带来的制约。GPU计算能力不断提升，但显存容量和数据供给能力的增长却相对有限，导致算力增长与系统整体效率并不同步。
当下，大量开发者和企业希望利用消费级GPU进行AI推理与微调，但面临两个核心瓶颈：一个是多卡并行效率受限：消费级GPU默认P2P通信被限制，多卡数据需经CPU中转，延迟高，数据传输路径被迫拉长。资源消耗巨大，大量的PCIe带宽被低效的数据搬运所浪费，系统整体性能被卡在“通信”环节。
另一个则是长上下文处理困难：传统KV Cache的显存利用率通常低于40%，极大地限制了单卡的并发能力。此外，还存在严重的内存碎片化问题，超长文本（8K+ token）容易触发OOM，长文档问答几乎不可用。
面对日益突出的“内存墙”，行业并非没有应对方案。最直接的路径，依然是继续提升算力，堆更贵的芯片。只是，这种做法虽然能提升性能，但成本却呈现非线性增长——投入不断增加，性能收益却难以保持同样幅度的提升。
“你可以极端地去堆最贵的GPU卡，也不能说他错，只不过这种所谓的标准配置，是一种商业妥协。”在许玮看来，用户不应该只看GPU参数，而要看整个系统的效能。
所谓系统效能，不仅包括GPU自身的计算能力，更包括数据如何流动、显存如何利用、多卡之间如何通信，以及整个推理过程能否保持高效率。对于企业而言，真正需要关注的不是拥有多少TOPS，而是在训练和推理过程中，能够以多高效率完成Token生成。
在这样的背景下，行业开始出现另一条技术路线——用存储扩展显存。不是做更贵的专业卡，而是释放消费级GPU的潜力。芯展速正是选择了这一路径，并在WAIC 2026上展示了AI90解决方案。许玮称，“推理成本的优化已从单纯堆叠算力，转向数据和存储‘存算协同’的系统级效率提升。”
据介绍，针对P2P通信的缺失，AI90通过智能P2P互联技术解锁硬件P2P，优化GPU间的数据通路，使消费级GPU在跨卡通信时无需再经过CPU和主机内存中转，实现GPU直连，从而提升多卡并行效率。
至于KV Cache的不足问题，AI90通过将KV Cache从HBM卸载至高性能SSD，构建“HBM+DRAM+SSD”三级存储体系，让原本受限于显存容量的大模型推理拥有更大的缓存空间，缓解长上下文场景下的显存压力。
“AI的竞争，本质上是算力效率的竞争。”许玮表示，当大家都在堆GPU的时候，我们选择从存储侧切入，是为了让每一块GPU都能真正发挥出全部算力。
算力平权，仍需整个产业链作答
不做GPU，但做GPU的“放大器”。AI90更强调的是AI部署成本的下降，让中小企业、开发者甚至个人用户，也能够基于消费级GPU部署本地AI，而不必完全依赖昂贵的数据中心资源。
根据芯展速在WAIC展会上公布的数据，在AI90的解决方案下，Llama 3 70B模型的推理，4卡5090集群的吞吐量从120 tk/s提升至610 tk/s；64K上下文的首Token延迟从27.99秒降至0.564秒，显存利用率从30%-40%提升至85%-95%，支持的上下文也从约8K扩展至128K以上。
不过，现阶段仍然有很多工作要做，比如异构GPU架构的适配，以及更多生态伙伴的共同支持。
在许玮看来，“这是一个超千亿的市场，用存储扩展显存，本质不是为了和谁竞争，更多的是希望让每一块钱的算力投资产出更多Token，让每一家中小企业和开发者都用得起大模型。”
“将存储变为‘算力的放大器’，这不仅是技术选择，更是AI基础设施走向普惠的必然路径，算力平权的‘iPhone时刻’也终会到来。”
Adobe Acrobat Pro 是面向办公、法务、财务、教育及出版用户的专业PDF处理软件，可在Mac上创建、编辑、转换、合并和保护文档，并提供OCR文字识别、表单、批注、内容比较、敏感信息遮盖及电子签名功能。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Affinity Designer 的矢量设计能力现已整合进 Affinity by Canva，可在 Mac 上进行标志、图标、插画、界面原型及印刷品设计。个人用户使用免费 Canva 账户即可使用完整的矢量、像素和版面工具。
Archicad是Graphisoft推出的建筑信息模型设计软件，可在Mac上完成概念设计、参数化建模、图纸编制、工程量统计、渲染展示及团队协同。模型与平立剖面、明细表和布局保持关联，适合建筑师、室内设计师、BIM团队及相关专业学生使用。
AutoCAD LT是Autodesk推出的专业二维CAD设计与文档编制软件，Mac版本提供原生界面、多点触控及分屏查看体验。用户可精确创建和编辑DWG图形，完成图层管理、尺寸标注、表格、PDF参考、外部参照及打印输出。
AutoCAD for Mac 是 Autodesk 面向 macOS 提供的专业计算机辅助设计软件，支持精确的二维绘图、标注、布局输出以及实体、曲面和网格建模。软件采用适配 Mac 操作习惯的界面，可处理 DWG 图纸。
Autodesk Fusion 是面向产品设计与制造的一体化云连接平台，在 Mac 上提供参数化建模、自由曲面、装配、工程图、仿真、PCB 设计和 CAM 加工等工具。它适合机械工程师、工业设计师、创客及制造团队使用。
Autodesk Maya是一套面向影视动画、游戏开发和视觉特效制作的专业三维创作软件，集多边形与曲面建模、角色绑定、关键帧动画、动力学模拟、程序化特效及Arnold渲染于一体，并提供脚本、插件和开放式制作管线支持。
Blender是一款免费开源的综合三维创作软件，可在Mac上完成建模、数字雕刻、材质制作、角色绑定、动画、物理模拟、渲染、合成及视频剪辑。软件提供Cycles与Eevee渲染工具，并支持几何节点、蜡笔绘制和Python扩展。
AutoCAD 是 Autodesk 推出的专业计算机辅助设计软件，Windows 版支持精确二维绘图、三维实体与曲面建模、图纸标注、布局发布和任务自动化，并包含多套行业专业化工具组合，适用于建筑、机械、电气、工程建设及制造设计人员。
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Cinema 4D是Maxon推出的专业三维创作软件，将建模、动画、MoGraph动态图形、粒子与动力学模拟、材质灯光及Redshift渲染整合在统一工作环境中，适用于广告包装、影视特效、产品和建筑可视化、游戏素材等制作场景。
Blender 是免费开源的三维创作套件，在 Windows 上提供建模、雕刻、材质、动画、物理模拟、合成、跟踪、视频剪辑及 Cycles、EEVEE 渲染工具。它适合个人创作者、学生和小型工作室，
Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件，集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体，
SketchUp Pro 是面向建筑、室内、景观、施工和产品设计等专业场景的三维建模工具，提供桌面建模、LayOut 二维文档、模型资源库、扩展程序及云端协作能力。其操作逻辑直观，适合从概念推敲、空间规划到图纸表达和方案汇报的完整工作流程。