达摩院开源半监督学习框架Dash，刷新多项SOTA
一、研究背景监督学习（SupervisedLearning）我们知道模型训练的目的其实是学习一个预测函数，在数学上，这可以刻画成一个学习从数据(X)到标注(y)的映射函数。监督学习就是一种最常用的模型训练方法，其效果的提升依赖于大量的且进行了很好标注的训练数据，也就是所谓的大量带标签数据((X,y))。但是标注数据往往需要大量的人力物力等等，因此效果提升的同时也会带来成本过高的问题。在实际应用中经常遇到的情况是有少量标注数据和大量未标注数据，由此引出的半监督学习也越来越引起科学工作者的注意。
一、研究背景
监督学习（Supervised Learning）
我们知道模型训练的目的其实是学习一个预测函数，在数学上，这可以刻画成一个学习从数据 (X) 到标注 (y) 的映射函数。监督学习就是一种最常用的模型训练方法，其效果的提升依赖于大量的且进行了很好标注的训练数据，也就是所谓的大量带标签数据 ((X,y))。但是标注数据往往需要大量的人力物力等等，因此效果提升的同时也会带来成本过高的问题。在实际应用中经常遇到的情况是有少量标注数据和大量未标注数据，由此引出的半监督学习也越来越引起科学工作者的注意。
半监督学习（Semi-Supervised Learning）
半监督学习同时对少量标注数据和大量未标注数据进行学习，其目的是借助无标签数据来提高模型的精度。比如 self-training 就是一种很常见的半监督学习方法，其具体流程是对于标注数据 (X, y) 学习数据从 X 到 y 的映射，同时利用学习得到的模型对未标注数据 X 预测出一个伪标签
，通过对伪标签数据 (X, 
)进一步进行监督学习来帮助模型进行更好的收敛和精度提高。
核心解决问题
现有的半监督学习框架对无标签数据的利用大致可以分为两种，一是全部参与训练，二是用一个固定的阈值卡出置信度较高的样本进行训练 (比如 FixMatch)。由于半监督学习对未标注数据的利用依赖于当前模型预测的伪标签，所以伪标签的正确与否会给模型的训练带来较大的影响，好的预测结果有助于模型的收敛和对新的模式的学习，差的预测结果则会干扰模型的训练。所以我们认为：不是所有的无标签样本都是必须的！
二、论文 & 代码
- 论文链接：https://proceedings.mlr.press/v139/xu21e/xu21e.pdf
- 代码地址：https://github.com/idstcv/Dash
- 技术应用：https://modelscope.cn/models/damo/cv_manual_face-liveness_flrgb/summary
这篇论文创新性地提出用动态阈值（dynamic threshold）的方式筛选无标签样本进行半监督学习（semi-supervised learning，SSL）的方法，我们改造了半监督学习的训练框架，在训练过程中对无标签样本的选择策略进行了改进，通过动态变化的阈值来选择更有效的无标签样本进行训练。Dash 是一个通用策略，可以轻松与现有的半监督学习方法集成。实验方面，我们在 CIFAR-10, CIFAR-100, STL-10 和 SVHN 等标准数据集上充分验证了其有效性。理论方面，论文从非凸优化的角度证明了 Dash 算法的收敛性质。
三、方法
Fixmatch 训练框架
在引出我们的方法 Dash 之前，我们介绍一下 Google 提出的 FixMatch 算法，一种利用固定阈值选择无标签样本的半监督学习方法。FixMatch 训练框架是之前的 SOTA 解决方案。整个学习框架的重点可以归纳为以下几点：
1、对于无标签数据经过弱数据增强（水平翻转、偏移等）得到的样本通过当前的模型得到预测值 
2、对于无标签数据经过强数据增强（RA or CTA）得到的样本通过当前的模型得到预测值 
3、把具有高置信度的弱数据增强的结果
，通过 one hot 的方式形成伪标签
，然后用 
和 X 经过强数据增强得到的预测值 
进行模型的训练。
fixmatch 的优点是用弱增强数据进行伪标签的预测，增加了伪标签预测的准确性，并在训练过程中用固定的阈值 0.95（对应 loss 为 0.0513) 选取高置信度（阈值大于等于 0.95，也就是 loss 小于等于 0.0513）的预测样本生成伪标签，进一步稳定了训练过程。
Dash 训练框架
针对全部选择伪标签和用固定阈值选择伪标签的问题，我们创新性地提出用动态阈值来进行样本筛选的策略。即动态阈值 
是随 t 衰减的
式中 C=1.0001,
是有标签数据在第一个 epoch 之后 loss 的平均值，我们选择那些
的无标签样本参与梯度回传。下图展示了不同
值下的阈值 
的变化曲线。可以看到参数 
控制了阈值曲线的下降速率。
的变化曲线类似于模拟训练模型时损失函数下降的趋势。
下图对比了训练过程中的 FixMath 和 Dash 选择的正确样本数和错误样本数随训练进行的变化情况（使用的数据集是 cifar100）。从图中可以很清楚地看到，对比 FixMatch，Dash 可以选取更多正确 label 的样本，同时选择更少的错误 label 的样本，从而最终有助于提高训练模型的精度。
我们的算法可以总结为如下 Algorithm 1。Dash 是一个通用策略，可以轻松与现有的半监督学习方法集成。为了方便，在本文的实验中我们主要将 Dash 与 FixMatch 集成。更多理论证明详见论文。
四、结果
我们在半监督学习常用数据集：CIFAR-10，CIFAR-100，STL-10 和 SVHN 上进行了算法的验证。结果分别如下：
可以看到我们的方法在多个实验设置上都取得了比 SOTA 更好的结果，其中需要说明的是针对 CIFAR-100 400label 的实验，ReMixMatch 用了 data align 的额外 trick 取得了更好的结果，在 Dash 中加入 data align 的 trick 之后可以取得 43.31% 的错误率，低于 ReMixMatch 44.28% 的错误率。
五、应用
实际面向任务域的模型研发过程中，该半监督 Dash 框架经常会被应用到。接下来给大家介绍下我们研发的各个域上的开源免费模型，欢迎大家体验、下载（大部分手机端即可体验）：
- https://modelscope.cn/models/damo/cv_resnet50_face-detection_retinaface/summary
- https://modelscope.cn/models/damo/cv_resnet101_face-detection_cvpr22papermogface/summary
- https://modelscope.cn/models/damo/cv_manual_face-detection_tinymog/summary
- https://modelscope.cn/models/damo/cv_manual_face-detection_ulfd/summary
- https://modelscope.cn/models/damo/cv_manual_face-detection_mtcnn/summary
- https://modelscope.cn/models/damo/cv_resnet_face-recognition_facemask/summary
- https://modelscope.cn/models/damo/cv_ir50_face-recognition_arcface/summary
- https://modelscope.cn/models/damo/cv_manual_face-liveness_flir/summary
- https://modelscope.cn/models/damo/cv_manual_face-liveness_flrgb/summary
- https://modelscope.cn/models/damo/cv_manual_facial-landmark-confidence_flcm/summary
- https://modelscope.cn/models/damo/cv_vgg19_facial-expression-recognition_fer/summary
- https://modelscope.cn/models/damo/cv_resnet34_face-attribute-recognition_fairface/summary
WPS Office是一款面向macOS用户的综合办公套件，将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式，支持Intel及Apple芯片Mac，基础功能可免费使用，
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Autodesk Fusion 是面向产品设计与制造的云连接开发平台，在统一环境中整合三维 CAD、CAM、CAE、PCB、工程图、数据管理和团队协作功能，适合产品设计师、机械工程师、电子工程师及加工制造团队完成从概念建模、验证分析到生产交
Archicad 是 Graphisoft 面向建筑师、设计师、工程师及 BIM 团队开发的建筑信息模型平台。它把三维建筑建模、施工文档、数据管理、专业协调、实时协作和可视化集中在统一项目环境中，适合从概念方案到施工交付的完整建筑设计流程。
Vectorworks Architect 是面向建筑师、室内设计师和建筑顾问的综合设计与BIM平台，覆盖概念草图、二维制图、三维建模、施工文档、数据报表、可视化及开放式协作。它强调自由造型与数据化建筑对象并存，
Shapr3D 是一款基于 Siemens Parasolid 几何内核的专业三维CAD软件，可在 Windows 电脑和平板设备上完成草图绘制、实体建模、参数化修改、模型可视化及技术图纸制作。软件提供免费基础方案，
FreeCAD 是面向机械设计、产品开发、建筑建模和创客项目的免费开源参数化三维 CAD 工具。它可在 Windows 上完成约束草图、实体零件、装配、工程图、BIM、有限元分析及 CAM 等任务，
Twinmotion 是 Epic Games 推出的实时三维可视化工具，可导入常见 CAD、BIM 与三维模型，通过材质、环境、植被、灯光及动画资源快速构建场景，并输出图片、视频、全景图和交互演示。
BricsCAD 是以 DWG 为核心格式的专业 CAD 平台，可用于二维制图、三维建模、工程文档与设计协作。产品按 Lite、Pro、BIM、Mechanical 和 Ultimate 等层级提供不同工具，
Ableton Live 是面向音乐创作、录音、编曲、声音设计、混音与现场演出的数字音频工作站。它将适合即兴触发素材的 Session 视图与传统时间线编曲结合，并提供音频变速、MIDI工具、软件乐器、效果器和声音资源，
FL Studio 是 Image-Line 推出的数字音频工作站，面向音乐制作人、编曲者、歌手及声音设计人员。它将步进音序、钢琴卷帘、音频录制、剪辑、混音、自动化和插件宿主整合在统一环境中，并提供大量乐器、效果器、采样与预设。
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。