微软亚洲研究院推出TinyMIM:通过知识蒸馏提升小型ViT的性能
作者:吹吹风会发光
时间:2023-10-03
浏览:5
重新表达:研究动机掩码建模(MIM,MAE)被证明是非常有效的自监督训练方法。然而,如图1所示,MIM对于更大的模型效果相对更好。当模型很小的时候(比如ViT-T5M参数,这样的模型对于现实世界非常重要),MIM甚至可能一定程度上降低模型的效果。比如用MAE训练的ViT-L比普通监督训练的模型在ImageNet上的分类效果提升3.3%,但是用MAE训练的ViT-T比普通监督训练的模型在ImageNet上的分类效果降低了0.6%。在这篇工作中我们提出了TinyMIM,其在保持ViT结构不变并且不修改结构引入
本文目录
重新表达:研究动机

论文地址:https://arxiv.org/pdf/2301.01296.pdf 代码地址:https://github.com/OliverRensu/TinyMIM







指学生模型的 class token,而
指老师模型的 class token。







作者最新文章
Agent Space智能体如何进行功能测试
2026-11-01 08:45
Proxifier怎么卸载:Windows标准版彻底移除与配置清理指南
2026-10-30 09:37
七彩虹 iGame RTX 5070 Ti Ultra SFF 显卡图赏:嘻哈涂鸦风,设计更潮酷
2026-10-26 16:48
viso如何导入word的详细操作步骤教程
2026-10-20 16:03
蛙蛙写作苹果手机更新新版本怎么下载
2026-10-15 19:40
热门文章
更多
精品专题
更多
Mac软件
更多
WINDOWS
更多

































