微软亚洲研究院推出TinyMIM:通过知识蒸馏提升小型ViT的性能
作者:吹吹风会发光
时间:2023-10-03
浏览:4
重新表达:研究动机掩码建模(MIM,MAE)被证明是非常有效的自监督训练方法。然而,如图1所示,MIM对于更大的模型效果相对更好。当模型很小的时候(比如ViT-T5M参数,这样的模型对于现实世界非常重要),MIM甚至可能一定程度上降低模型的效果。比如用MAE训练的ViT-L比普通监督训练的模型在ImageNet上的分类效果提升3.3%,但是用MAE训练的ViT-T比普通监督训练的模型在ImageNet上的分类效果降低了0.6%。在这篇工作中我们提出了TinyMIM,其在保持ViT结构不变并且不修改结构引入
本文目录
重新表达:研究动机

论文地址:https://arxiv.org/pdf/2301.01296.pdf 代码地址:https://github.com/OliverRensu/TinyMIM







指学生模型的 class token,而
指老师模型的 class token。







作者最新文章
漫蛙网页版免费进入地址分享
2026-10-13 13:16
漫蛙manwa官方网站入口
2026-10-13 13:15
Typora怎么插入表格?Ctrl+T快速建表并调整行列
2026-10-05 17:59
2026年好用的思维导图软件推荐:高效实用排行榜
2026-09-30 13:14
寻简思维导图手机版设置在主题框中插入公式的方法
2026-09-30 13:03
热门文章
更多
精品专题
更多
Mac软件
更多
WINDOWS
更多










































