ImageNet零样本准确率首次超过80%，地表最强开源CLIP模型更新
虽然ImageNet早已完成历史使命，但其在计算机视觉领域仍然是一个关键的数据集。2016年，在ImageNet上训练后的分类模型，sota准确率仍然还不到80%；时至今日，仅靠大规模预训练模型的zero-shot泛化就能达到80.1%的准确率。最近LAION使用开源代码OpenCLIP框架训练了一个全新的ViT-G/14CLIP模型，在ImageNet数据集上，原版OpenAICLIP的准确率只有75.4%，而OpenCLIP实现了80.1%的zero-shot准确率，在MSCOCO上
虽然ImageNet早已完成历史使命，但其在计算机视觉领域仍然是一个关键的数据集。
2016年，在ImageNet上训练后的分类模型，sota准确率仍然还不到80%；时至今日，仅靠大规模预训练模型的zero-shot泛化就能达到80.1%的准确率。
最近LAION使用开源代码OpenCLIP框架训练了一个全新的 ViT-G/14 CLIP 模型，在 ImageNet数据集上，原版OpenAI CLIP的准确率只有75.4%，而OpenCLIP实现了80.1% 的zero-shot准确率，在 MS COCO 上实现了74.9% 的zero-shot图像检索（Recall@5），这也是目前性能最强的开源 CLIP 模型。
LAION全称为Large-scale Artificial Intelligence Open Network，是一家非营利组织，其成员来自世界各地，旨在向公众提供大规模机器学习模型、数据集和相关代码。他们声称自己是真正的Open AI，100%非盈利且100%免费。
感兴趣的小伙伴可以把手头的CLIP模型更新版本了！
模型地址：https://huggingface.co/laion/CLIP-ViT-bigG-14-laion2B-39B-b160k
OpenCLIP模型在各个数据集上具体的性能如下表所示。
Zero-shot能力
一般来说，计算机视觉（CV）模型在各个任务上的sota性能都是基于特定领域的训练数据，无法泛化到其他领域或任务中，导致对视觉世界的通用属性理解有限。
泛化问题对于那些缺少大量训练数据的领域尤其重要。
理想情况下，CV模型应该学会图像的语义内容，而非过度关注训练集中的特定标签。比如对于狗的图像，模型应该能够理解图像中有一只狗，更进一步来理解背景中有树、时间是白天、狗在草地上等等。
但当下采用「分类训练」得到的结果与预期正好相反，模型学习将狗的内部表征推入相同的「狗向量空间」，将猫推入相同的「猫向量空间」，所有的问题的答案都是二元，即图像是否能够与一个类别标签对齐。
对新任务重新训练一个分类模型也是一种方案，但是训练本身需要大量的时间和资金投入来收集分类数据集以及训练模型。
幸运的是，OpenAI 的CLIP模型是一个非常灵活的分类模型，通常不需要重新训练即可用于新的分类任务中。
CLIP为何能Zero-Shot
对比语言-图像预训练（CLIP, Contrastive Language-Image Pretraining）是 OpenAI 于2021年发布的一个主要基于Transformer的模型。
CLIP 由两个模型组成，一个Transformer编码器用于将文本转换为embedding，以及一个视觉Transformer（ViT）用于对图像进行编码。
CLIP内的文本和图像模型在预训练期间都进行了优化，以在向量空间中对齐相似的文本和图像。在训练过程中，将数据中的图像-文本对在向量空间中将输出向量推得更近，同时分离不属于一对的图像、文本向量。
CLIP与一般的分类模型之间有几个区别：
首先，OpenAI 使用从互联网上爬取下来的包含4亿文本-图像对的超大规模数据集进行训练，其好处在于：
1. CLIP的训练只需要「图像-文本对」而不需要特定的类标签，而这种类型的数据在当今以社交媒体为中心的网络世界中非常丰富。
2. 大型数据集意味着 CLIP 可以对图像中的通用文本概念进行理解的能力。
3. 文本描述（text descriptor）中往往包含图像中的各种特征，而不只是一个类别特征，也就是说可以建立一个更全面的图像和文本表征。
上述优势也是CLIP其建立Zero-shot能力的关键因素，论文的作者还对比了在ImageNet上专门训练的 ResNet-101模型和 CLIP模型，将其应用于从ImageNet 派生的其他数据集，下图为性能对比。
可以看到，尽管 ResNet-101是在ImageNet上进行训练的，但它在相似数据集上的性能要比 CLIP 在相同任务上的性能差得多。
在将 ResNet 模型应用于其他领域时，一个常用的方法是「linear probe」（线性探测），即将ResNet模型最后几层所学到的特性输入到一个线性分类器中，然后针对特定的数据集进行微调。
在CLIP论文中，线性探测ResNet-50与zero-shot的CLIP 进行了对比，结论是在相同的场景中，zero-shot CLIP 在多个任务中的性能都优于在ResNet-50中的线性探测。
不过值得注意的是，当给定更多的训练样本时，Zero-shot并没有优于线性探测。
用CLIP做Zero-shot分类
从上面的描述中可以知道，图像和文本编码器可以创建一个512维的向量，将输入的图像和文本输入映射到相同的向量空间。
用CLIP做Zero-shot分类也就是把类别信息放入到文本句子中。
举个例子，输入一张图像，想要判断其类别为汽车、鸟还是猫，就可以创建三个文本串来表示类别：
T1代表车：a photo of a car
T2代表鸟：a photo of a bird
T3代表猫：a photo of a cat
将类别描述输入到文本编码器中，就可以得到可以代表类别的向量。
假设输入的是一张猫的照片，用 ViT 模型对其进行编码获取图像向量后，将其与类别向量计算余弦距离作为相似度，如果与T3的相似度最高，就代表图像的类别属于猫。
可以看到，类别标签并不是一个简单的词，而是基于模板「a photo of a {label}」的格式重新改写为一个句子，从而可以扩展到不受训练限制的类别预测。
实验中，使用该prompt模板在ImageNet的分类准确性上提高了1.3个百分点，但prompt模板并不总是能提高性能，在实际使用中需要根据不同的数据集进行测试。
Python实现
想要快速使用CLIP做zero-shot分类也十分容易，作者选取了Hugging Face中的frgfm/imagenette数据集作为演示，该数据集包含10个标签，且全部保存为整数值。
使用 CLIP进行分类，需要将整数值标签转换为对应的文本内容。
在直接将标签和照片进行相似度计算前，需要初始化 CLIP模型，可以使用通过 Hugging Face transformers找到的 CLIP 实现。
文本transformer无法直接读取文本，而是需要一组称为token ID（或input _ IDs）的整数值，其中每个唯一的整数表示一个word或sub-word（即token）。
将转换后的tensor输入到文本transformer中可以获取标签的文本embedding
注意，目前CLIP输出的向量还没有经过归一化（normalize），点乘后获取的相似性结果是不准确的。
下面就可以选择一个数据集中的图像作测试，经过相同的处理过程后获取到图像向量。
将图像转换为尺寸为（1, 3, 224, 224）向量后，输入到模型中即可获得embedding
下一步就是计算图像embedding和数据集中的十个标签文本embedding之间的点积相似度，得分最高的即是预测的类别。
模型给出的结果为cassette player（盒式磁带播放器），在整个数据集再重复运行一遍后，可以得到准确率为98.7%
除了Zero-shot分类，多模态搜索、目标检测、 生成式模型如OpenAI 的 Dall-E 和 Stable disusion，CLIP打开了计算机视觉的新大门。
WPS Office是一款面向macOS用户的综合办公套件，将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式，支持Intel及Apple芯片Mac，基础功能可免费使用，
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Autodesk Fusion 是面向产品设计与制造的云连接开发平台，在统一环境中整合三维 CAD、CAM、CAE、PCB、工程图、数据管理和团队协作功能，适合产品设计师、机械工程师、电子工程师及加工制造团队完成从概念建模、验证分析到生产交
Archicad 是 Graphisoft 面向建筑师、设计师、工程师及 BIM 团队开发的建筑信息模型平台。它把三维建筑建模、施工文档、数据管理、专业协调、实时协作和可视化集中在统一项目环境中，适合从概念方案到施工交付的完整建筑设计流程。
Vectorworks Architect 是面向建筑师、室内设计师和建筑顾问的综合设计与BIM平台，覆盖概念草图、二维制图、三维建模、施工文档、数据报表、可视化及开放式协作。它强调自由造型与数据化建筑对象并存，
Shapr3D 是一款基于 Siemens Parasolid 几何内核的专业三维CAD软件，可在 Windows 电脑和平板设备上完成草图绘制、实体建模、参数化修改、模型可视化及技术图纸制作。软件提供免费基础方案，
FreeCAD 是面向机械设计、产品开发、建筑建模和创客项目的免费开源参数化三维 CAD 工具。它可在 Windows 上完成约束草图、实体零件、装配、工程图、BIM、有限元分析及 CAM 等任务，
Twinmotion 是 Epic Games 推出的实时三维可视化工具，可导入常见 CAD、BIM 与三维模型，通过材质、环境、植被、灯光及动画资源快速构建场景，并输出图片、视频、全景图和交互演示。
BricsCAD 是以 DWG 为核心格式的专业 CAD 平台，可用于二维制图、三维建模、工程文档与设计协作。产品按 Lite、Pro、BIM、Mechanical 和 Ultimate 等层级提供不同工具，
Ableton Live 是面向音乐创作、录音、编曲、声音设计、混音与现场演出的数字音频工作站。它将适合即兴触发素材的 Session 视图与传统时间线编曲结合，并提供音频变速、MIDI工具、软件乐器、效果器和声音资源，
FL Studio 是 Image-Line 推出的数字音频工作站，面向音乐制作人、编曲者、歌手及声音设计人员。它将步进音序、钢琴卷帘、音频录制、剪辑、混音、自动化和插件宿主整合在统一环境中，并提供大量乐器、效果器、采样与预设。
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。