展开菜单
首页 精品内容 本月促销 装机必备 Windows PDF教程 macOS软件 IOS软件 Android AI 专题
全部分类

当前位置:

首页 > 硬件相关 > PDD,Token工厂必备的“超级管线”!“前店后厂一中心”布局来了!

PDD,Token工厂必备的“超级管线”!“前店后厂一中心”布局来了!

无问芯穹发布AgenticInfra“前店后厂一中心”布局,包含算力集散中心、Token工厂和AI生产力商店。其首创的跨集群异构PD分离架构(PDD)将推理链路解构为三级分离,实现首Token延迟降低51.5%,单Token成本降低37.5%,推动推理成本持续下降。

本文目录

    计算需求正在指数级攀升,这已经不是什么新鲜事了。但问题在于,今天如果只靠产能的线性增长去堆叠算力,供需之间的缺口恐怕只会越拉越大。

    7月20日,2026年世界人工智能大会上,无问芯穹联合创始人兼CEO夏立雪提出,从预训练到后训练、从推理时扩展到智能体扩展,四条规则定律正在同时发力,模型训练和推理的“超级市场”正在互相孕育,彼此成就。

    当下的AI基础设施,核心任务很明确:必须以极致的效率,去服务更大规模的智能需求。

    基于规模与效率这两大锚点,夏立雪从无问芯穹的AI生产力公式出发,首次公布了Agentic Infra的“前店后厂一中心”战略布局。这套布局涵盖三大核心技术能力与产品服务体系——“算力集散中心”,Agentic Infra自主式基础设施平台;“Token工厂”,Agentic MaaS大模型服务平台;“AI生产力商店”,Agentic Infra行业解决方案。

    这套Agentic Infra产品与服务体系立足基础设施,向下汇聚能源和芯片,向上支撑模型和应用,不仅极致提升了底层资源向AI生产力转化的规模和效率,更具备了Agentic AI时代最显著的AI原生能力——用基础设施智能体蜂群,去赋能资源规模扩展、提效Token生产,并支持Agentic AI的持续进化。

    服务下一代Agentic AI在线进化

    无问芯穹Agentic Infra自主式基础设施平台的核心目标,是实现智能资源规模最大化。它就像一座“算力集散中心”,把散落的、异构的算力资源统一汇聚、弹性调度、按需分发,为模型与应用层筑牢一个充足、稳定、可扩展的算力底座。

    夏立雪认为:“算力的异质化、碎片化,这可不是某个地区独有的问题,它全球性的。如何把不同的、跨区域的算力资源,高效聚合协同起来,这才是扩大智能资源规模的关键。”

    无问芯穹自成立以来,一直致力于通过“多元异构、软硬协同”技术,破解异质算力聚合的难题。他们打造的面向异构集群的大模型跨域训练系统,已经集成于Agentic Infra平台软件中,通过计算通信重叠的流水编排、自适应的通信流调度和异构算力调度机制,三位一体全栈协同优化,能够系统性地解决这一行业难题。

    该系统已经受过三大类跨域算力聚合训练实践的生产级考验——

    第一个例子,超远距离聚合。无问芯穹联合中国电信,完成了国内首例超4000公里的大模型跨域混训,新疆哈密与广东深圳两地集群,联合训练性能提升了165%,这充分验证了超远距离跨域集群协同训练的可行性。

    第二个例子,多数据中心聚合。打通4个不同代际、不同型号的GPU集群,联合训练近百亿参数大模型,四集群协同性能提升41%,有效盘活了不同批次的存量异构算力。

    第三个例子,混合云算力聚合。实现本地私有集群与公有云算力的安全互通混训,整体性能提升68%,帮助众多企业客户解决本地算力不足、云上资源却闲置的错配痛点。

    目前,这套跨域训练系统已经在全国部署,触达超37000P算力,覆盖16种主流芯片,盘活了广域分散的异质算力,成为Agentic AI时代最坚实的底座。

    夏立雪表示,伴随着大规模跨集群强化学习训练技术的持续成熟突破,无问芯穹还将持续深耕并行策略、通信融合、智能算子、极致容错等核心技术。未来,跨域计算资源的支撑规模将拓展至十万卡级以上,支撑下一代Agentic AI的在线进化。

    Token工厂以“效”搏大

    Token经济时代,无问芯穹在2024年初就提前布局的Agentic MaaS大模型服务平台,正在迎来高速且持续的增长曲线。这个平台就像一座“Token工厂”,核心目标是用极致效率,服务Token的规模化、高质量生产。

    夏立雪用千卡到万卡规模的完整推理服务技术栈,展示了Token工厂内部的优化空间。从网关、路由,到底层推理实例,Token工厂层层可优化、处处有增量。

    随后,夏立雪披露了无问芯穹首创的新一代推理系统优化成果——跨集群异构PD分离架构,简称PDD。

    智能体推理需求的特征,可以概括为“三极”:上下文极长、交互轮次极多、缓存命中率极高,对吞吐、时延、缓存复用的要求,远高于传统对话场景。同时,从实测数据来看,不同芯片在Prefill和Decode阶段的性能差异极大。而眼下,这些散落在不同地区的存量集群,几乎都是同构的,而且每个集群都有点“偏科”。

    因此,PDD架构首先用高性价比的广域网以太网,把分布在各地的、已经建好的同构数据中心连起来,让算力强的集群做Prefill任务,让显存带宽高的集群做Decode任务。这就好比让“偏科”的硬件只刷自己最擅长的题,极大提升了大模型推理系统的效率,堪称每座Token工厂都必备的“超级管线”。

    PDD将传统的PD分离链路,创新解构为“P-RLD-MD”的三级分离式推理架构,就像是为这条“超级管线”加装了一个“精密增压阀”。对于高传输延迟的请求,RelayDecode先行输出Token给用户,让用户侧完全感受不到长达数十秒的传输延迟;当传输完成后,任务被无缝切换给MainDecode来处理,避免了RelayDecode被长期占用。通过这一设计,仅需极少量机器承担RelayDecode,就能掩盖以太网KV Cache传输延迟。

    实测数据显示,该架构在实现首Token延迟降低51.5%的同时,单Token成本可降低37.5%。这不仅意味着用户端速度体验的显著提升,更意味着每一个集群都能被充分利用起来,最大化释放全域异构算力的产业应用价值。

    过去一年里,无问芯穹的Token工厂通过一系列原始技术创新,推动了推理成本的10倍下降。夏立雪判断,随着跨集群异构PD分离架构的规模化落地,推理成本还有10倍的下降空间。

    无问芯穹已经携手上海移动,联合打造了“沪芯沪产服务沪客”的“天问”模型服务门户,也与AI原生新世代社区“观猹”联合打造了“中国版OpenRouter” TokenDance平台。未来,无问芯穹将持续携手优秀的行业伙伴,以这套高效的“Token工厂”赋能更多产业领域、服务更广泛用户。

    (本文原题:《PDD,Token工厂必备的“超级管线”!“前店后厂一中心”布局来了!》)

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    硬件相关 人工智能
    相关文章 更多
    精品专题 更多
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    macOS软件

    正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

    IOS软件

    正软商城iOS软件专区,精选适用于iPhone和iPad的办公、学习、影音、设计、效率及AI应用,提供功能介绍、适用设备、系统要求和正版获取方式等信息。

    AI

    正软商城AI软件专区,汇集AI写作、AI绘画、AI视频、AI办公、AI编程、AI翻译、智能客服和数据分析等人工智能工具,提供功能介绍、适用平台、收费方式及正版购买信息。

    Mac软件 更多
    Aperty macOS版
    Aperty macOS版

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    火山引擎 网页版
    火山引擎 网页版

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    立刻MV 网页版
    立刻MV 网页版

    立刻MV 面向音乐人、内容创作者和品牌团队,帮助用户低成本完成歌曲 MV、歌词视频、AI 分镜、图生视频与最终合成。

    蛙蛙写作 网页版
    蛙蛙写作 网页版

    蛙蛙写作 AI 创作工具,覆盖小说、剧本、文案,一键生成文稿,打通文字转视频全流程,高效解决创作难题。

    讯飞智作 网页版
    讯飞智作 网页版

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    超级简历WonderCV 网页版
    超级简历WonderCV 网页版

    超级简历WonderCV是面向应届生和AI小白的智能求职平台,覆盖简历、面试与职业规划。

    音述AI 网页版
    音述AI 网页版

    音述AI,是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区。

    AionClaw macOS版
    AionClaw macOS版

    AionClaw 是可在桌面端运行的任务型 AI 助手,通过数字专家与技能市场组合办公、创作、数据和开发能力。

    Loomy macOS版
    Loomy macOS版

    Loomy 是科大讯飞推出的桌面 AI 助手,可通过对话、任务与工作目录协助处理办公、内容创作和资料整理。

    AirBuddy 3 macOS版
    AirBuddy 3 macOS版

    AirBuddy 3 是面向 macOS 的蓝牙外设增强工具,可集中查看 AirPods、Beats 与苹果设备电量,提供快速连接、播放控制、电量提醒、桌面小组件和多台 Mac 外设接力等功能。

    AirServer macOS版
    AirServer macOS版

    AirServer macOS版可把 Mac 转换为无线投屏接收端,通过 AirPlay 或 Google Cast 接收手机、平板和电脑画面,并支持多设备同时连接、高清镜像及会话录制,适合家庭娱乐、课堂教学、会议演示和应用展示。

    AnyDesk macOS版
    AnyDesk macOS版

    AnyDesk macOS版是一款适用于远程办公、设备维护和客户支持的远程桌面工具,可连接并操作异地计算机,支持文件传输、无人值守访问、会话权限控制及跨平台协作。

    WINDOWS 更多
    讯飞绘文 网页版
    讯飞绘文 网页版

    讯飞绘文网页版是科大讯飞推出的AI图文创作与内容运营工具,覆盖热点选题、文章生成、稿件校对、智能配图、排版发布和数据复盘等环节,适合自媒体创作者及内容团队在线使用。

    Maya(Autodesk Maya) Windows版
    Maya(Autodesk Maya) Windows版

    Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件,集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体,

    Aperty Windows版
    Aperty Windows版

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    火山引擎 网页版
    火山引擎 网页版

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    立刻MV 网页版
    立刻MV 网页版

    立刻MV 面向音乐人、内容创作者和品牌团队,帮助用户低成本完成歌曲 MV、歌词视频、AI 分镜、图生视频与最终合成。

    蛙蛙写作 网页版
    蛙蛙写作 网页版

    蛙蛙写作 AI 创作工具,覆盖小说、剧本、文案,一键生成文稿,打通文字转视频全流程,高效解决创作难题。

    讯飞智作 网页版
    讯飞智作 网页版

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    超级简历WonderCV 网页版
    超级简历WonderCV 网页版

    超级简历WonderCV是面向应届生和AI小白的智能求职平台,覆盖简历、面试与职业规划。

    音述AI 网页版
    音述AI 网页版

    音述AI,是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区。

    AionClaw Windows版
    AionClaw Windows版

    AionClaw 是可在桌面端运行的任务型 AI 助手,通过数字专家与技能市场组合办公、创作、数据和开发能力。

    Loomy Windows版
    Loomy Windows版

    Loomy 是科大讯飞推出的桌面 AI 助手,可通过对话、任务与工作目录协助处理办公、内容创作和资料整理。

    AirServer Windows版
    AirServer Windows版

    AirServer Windows版可把电脑变成AirPlay、Google Cast和Miracast无线投屏接收端,适合会议演示、课堂教学及家庭大屏分享。发送设备通常无需另装客户端,并可同时接收和智能排列多个镜像会话。