让大模型不再「巨无霸」,这是一份最新的大模型参数高效微调综述
作者:若安舟已远
时间:2025-01-24
浏览:14
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com。近期,大语言模型、文生图模型等大规模AI模型迅猛发展。在这种形势下,如何适应瞬息万变的需求,快速适配大模型至各类下游任务,成为了一个重要的挑战。受限于计算资源,传统的全参数微调方法可能
本文目录

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com。







作者首先给出了加性微调、选择性微调、重参数化微调和混合微调的定义:
加性微调通过在预训练模型的特定位置添加可学习的模块或参数,以最小化适配下游任务时模型的可训练的参数量。 选择性微调在微调过程中只更新模型中的一部分参数,而保持其余参数固定。相较于加性微调,选择性微调无需更改预训练模型的架构。 重参数化微调通过构建预训练模型参数的(低秩的)表示形式用于训练。在推理时,参数将被等价的转化为预训练模型参数结构,以避免引入额外的推理延迟。






多 PEFT 训练:挑战包括如何管理内存梯度和模型权重存储,以及如何设计一个有效的内核来批量训练 PEFT 等。

作者最新文章
Win10如何关闭开机密码 系统登录选项与密码删除方法
2026-11-11 09:39
Steam商店偏好设置教程:调整内容筛选与排除标签
2026-11-09 17:38
winrar怎么设置成中文 设置步骤有哪些
2026-11-07 14:32
二狗PPT生成失败怎么办?常见问题解决
2026-11-02 22:16
Mac电脑怎么截图:Command+Shift组合键用法与保存位置
2026-10-16 17:07
热门文章
更多
精品专题
更多
Mac软件
更多
WINDOWS
更多

































