基于预测的云资源弹性伸缩框架MagicScaler，实现“高QoS，低成本”双丰收
开篇近日，由阿里云计算平台大数据基础工程技术团队主导，与计算平台MaxCompute团队、华东师范大学数据科学与工程学院、达摩院合作，基于预测的云计算平台资源弹性伸缩框架论文《MagicScaler: Uncertainty-aware, Predictive Autoscaling 》被数据库领域
开篇
近日，由阿里云计算平台大数据基础工程技术团队主导，与计算平台MaxCompute团队、华东师范大学数据科学与工程学院、达摩院合作，基于预测的云计算平台资源弹性伸缩框架论文《MagicScaler: Uncertainty-aware, Predictive Autoscaling 》被数据库领域顶会VLDB 2023接收。
MagicScaler论文提出了一种创新的基于预测的云资源主动弹性伸缩框架 MagicScaler，该框架主要包含一个基于多尺度注意力高斯过程的预测模型和一个考虑需求不确定性的弹性伸缩优化决策器。论文在阿里云云原生大数据计算服务MaxCompute 3个集群的真实数据集上进行了实验，综合成本和QoS两个层面，MagicScaler要显著优于其他经典的弹性伸缩算法，实现了“高QoS（Quality of Service），低成本”的双丰收。
背景
随着云计算需求的不断发展，根据用户需求合理分配云资源，是确保稳定性、控制成本的关键。图1展示了三种易于理解的扩缩容策略。保守（Conservative）策略会提供“保守、虚高”的ECS供应量，虽能保证资源充足，但会导致较高的资源浪费。被动（Passive）策略则是在用户需求达到后才执行扩缩容决策，这样会因资源“冷启动”问题，增加QoS违约的风险。为了兼具这两种策略的优点，预测式自动扩缩容（Predictive Autoscaling）策略应运而生，它可以理解为在“提前知晓用户需求”后执行扩缩容决策，这极有可能成为实现图1中理想状况的途径。
图 1：三种易于理解的 AutoScaling 策略：a) 保守策略：高成本，低 QoS 风险；b) 被动策略：较低成本，高 QoS 风险；c) 理想策略：低成本，低 QoS 风险。
目前，自动扩缩框架主要通过控制理论、强化学习、排队理论或基于规则生成扩所容决策。不过，这些方法仅采用了简单的预测算法，比如取历史一段时间的平均需求，却没考虑到需求的周期性和不确定性，这使得预测精度不高，也难以应对多变的需求。部分现有研究只是用启发式方法来处理需求的不确定性，很难得到稳健的扩缩容决策。而理想的扩缩容框架，需要在预测和扩缩容决策阶段都充分考虑需求的不确定性。另外，现有的自动扩缩容框架并未考虑云资源弹性伸缩场景中的一些业务属性和真实约束，例如弹性资源在扩缩容阶段会经历冷启动、退回成本，以及云平台场景下QoS和成本之间的权衡约束等。所以，这些现有的自动扩缩容框架很难直接应用于阿里云计算平台的弹性伸缩场景。
挑战
云计算需求的日益发展，基于用户需求合理地进行云资源分配是保障稳定性和控制成本的重要因素。图2展示了阿里云云原生大数据计算服务某个集群在不同数据粒度下的资源请求情况（数据已作脱敏处理），可以看出云上用户需求往往具有高度复杂性、不确定性和粒度敏感的时间依赖性，这给未来需求的准确预测带来了一定困难，也使得主动弹性伸缩更具挑战性。一个好的主动弹性伸缩策略需要在考虑需求不确定性的同时，保持云平台低运行成本和高QoS之间的合理平衡。
图2 某集群不同数据粒度下的资源请求情况
破局
本文提出了一种创新的基于预测的云资源弹性伸缩框架 MagicScaler。该框架主要包含一个基于多尺度注意力高斯过程的预测模型和一个考虑需求不确定性的弹性扩缩容优化决策器，以实现“高QoS（Quality of Service），低成本”双丰收的目标。图3描述了 MagicScaler 的整体框架，包含预测器和调度器两部分。
图3 MagicScaler整体框架
（1）预测器：预测器部分主要构建了基于多尺度注意力机制的高斯回归预测模型。该预测模型设计有机融合了两种高效的预测策略：一是多尺度注意力机制，能够捕捉复杂的多尺度特征；二是随机过程回归，以量化预测结果不确定性。这使得预测模型可以实现精确的需求预测，结合量化的不确定性为后续的弹性伸缩打下基础。图4描述了预测器的整体框架，预测器的输入为
时刻回看的历史需求序列
。通过 MAFE（多尺度特征提取）组件提取这个时间序列特征，记为
。将输入至 GPR（高斯过程回归）模型，并以此预测未来
步时间的需求量。
图4 预测器流程
（2）调度器：调度器部分设计了基于预测结果和量化不确定性的弹性扩缩容优化决策器。将复杂业务场景建模为马尔可夫决策（MDP）过程，并利用滚动时域优化的方法近似求解最优策略，实现了资源成本与 QoS 违规风险之间的灵活平衡。图5展示了调度器流程，包括马尔可夫决策过程（MDP）、优化器和弹性伸缩决策执行器。我们的弹性伸缩器以概率需求预测分布作为输入，将弹性伸缩问题建模为马尔可夫决策过程。因为考虑到MDP优化是一个无限域贝尔曼方程优化问题，我们使用滚动时域优化策略，将贝尔曼方程在无限时域内的求解转换为有限时域内的随机规划，从而使得能够找到最佳策略来近似贝尔曼方程的最优解。
图5 调度器流程
论文在阿里云云原生大数据计算服务MaxCompute 3个集群的真实数据集上进行了实验，综合成本和QoS两个层面，MagicScaler要显著优于其他经典的弹性伸缩算法，更多实验结果请参阅我们的论文原文。
应用
后续将进一步研究如何将MagicScaler技术与MaxCompute现有调度策略结合。
- 论文标题：MagicScaler: Uncertainty-aware, Predictive Autoscaling
- 论文作者：潘志诚，王益杭，张颖莹，杨斌，程云爻，陈鹏，郭晨娟，文青松，田西夺，窦云亮，周志强，杨程程，周傲英，杨彬
- 论文链接：https://www.vldb.org/pvldb/vol16/p3808-yang.pdf
原文链接
本文为阿里云原创内容，未经允许不得转载。
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件，支持 Windows、macOS 和 iPad 等平台，广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件，支持 Windows、macOS 和 iPad 等平台，广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。