李飞飞高徒盘点年度十大AI亮点：核聚变、ChatGPT、AlphaFold上榜
Air Explorer Pro是一款跨平台多网盘管理工具，可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
人工智能的爆炸正在扭曲我们的时间感。你能相信StableDiffusion只有4个月大，而ChatGPT的出现还不到一个月吗？打个形象的比喻，只要眨一下眼，你就会错过一个全新的行业。2022年的AI领域，大规模的生成模型像雨后春笋一样地冒出，改变了整个AI界的格局。而且，这些模型正在迅速走出实验室，在现实中被应用。比如，LLM技术就启发了两个新兴的领域——决策代理（游戏、机器人等等）和AI4Science。李飞飞高徒JimFan为我们总结了2022年的十大AI高光时刻。让我们把时间倒转，看看2022
人工智能的爆炸正在扭曲我们的时间感。
你能相信Stable Diffusion只有4个月大，而ChatGPT的出现还不到一个月吗？
打个形象的比喻，只要眨一下眼，你就会错过一个全新的行业。
2022年的AI领域，大规模的生成模型像雨后春笋一样地冒出，改变了整个AI界的格局。
而且，这些模型正在迅速走出实验室，在现实中被应用。
比如，LLM技术就启发了两个新兴的领域——决策代理（游戏、机器人等等）和 AI4Science。
李飞飞高徒Jim Fan为我们总结了2022年的十大AI高光时刻。让我们把时间倒转，看看2022年都有哪些令人惊叹的AI突破。
一、文字-图像生成
DALLE-2是第一个可以从任意标题生成逼真的高分辨率图像的大规模扩散模型。
它启动了AI的艺术革命，催生了许多新的应用程序、初创公司和思维方式。
但 DALLE-2被保护在OpenAI的围墙后面，并没有开源。
在OpenAI之后，LMU的StabilityAI和runwayml迈出了英勇的一步，基于「潜在扩散」算法训练了他们自己的互联网规模的text2image模型。他们称该模型为「稳定扩散」，并开源了代码和权值（weighs）。
事实证明，Stable Diffusion的开放性，让它给游戏带来了巨变。
现在，许多初创公司和研究实验室都在Stable Diffusion的基础上创建新的应用程序，Stable Diffusion本身也被开源社区不断改进。
最近，Stable Diffusion已经达到了v2.1版本，可以在单个GPU上运行了。
另外，今年还有来自GoogleAI的两个image2text模型。GoogleAI既没有发布模型也没有发布API，但从论文中，我们仍然可以看到不少有趣的见解。
Imagen
https://imagen.research.google
Parti
https://parti.research.google。它是一个没有diffusion的Transformer模型。
二、文字-文字生成
大家都知道，我说的是ChatGPT!
这是历史上唯一一个在5天内就获得了100万用户的应用程序。
ChatGPT也大大启发了我们人类的创造力。
在这个列表中，可以看到所有有用的和有想象力的关于ChatGPT想法：https://github.com/f/awesome-chat
ChatGPT和GPT-3.5都使用了一种叫做RLHF（「从人类反馈中强化学习」）的新技术。
这也就意味着，提示工程或许很快就会消失了。
ChatGPT的流行，已经催生了一波新的创业公司和竞争者，比如Jasper Chat、YouChat、Replit的Ghostwriter chat，以及perplexity_ai。
这些竞争者提供了如此直观的搜索方式，连谷歌的高管们都开始出汗了!
三、文本- 机器人模型
如何给GPT提供胳膊和腿，让它们能打扫你混乱的厨房？
与NLP不同，机器人模型需要与物理世界互动。
在今年，大的预训练Transformer终于开始解决机器人领域最难的问题了!
VIMA
10月，我和同事创建了一个 「机器人GPT 」——名为VIMA的tranformer。
它可以接收任何混合的文本、图像和视频作为prompt，并输出机器人手臂的控制。
我们的模型被称为VIMA（「VisuoMotor Attention」），已经完全开源了。
现在，单个智能体已经能够解决视觉目标、视频的一次性模仿、新概念基础、视觉约束等，具有了模型容量和数据的强大扩展性。
RT-1
沿着与VIMA类似的路径，来自GoogleAI的研究人员发布了RT-1，这是一种在700项任务和130K的人类演示上训练的机器人transformer。
这些数据是由13个机器人在17个月内收集的，是字面意义上的钢铁部队！
四、文本 - 视频
本质上说，视频就是随着时间的推移捆绑在一起的一系列图像，给我们创造了运动的错觉。
如果我们可以做text2image，那为什么不在里面加上时间轴，来获得额外的乐趣呢？
目前，文本 - 视频领域有3个重大的工作，但没有一个是开源的。
Make-A-Video
首先是Meta AI的Make-A-Video：不需要成对的文本-视频数据，就可以得到文本-视频的生成。
您可以在此处注册试用访问权限：https://makeavevideo.studio
论文链接：https://arxiv.org/abs/2209.14792
Imagen Video
Google AI的Imagen Video：它能使用扩散模型生成高清视频，基于Imagen静态图像生成器。
演示：http://imagen.research.google/video/
论文链接：https://arxiv.org/abs/2210.02303
Phenaki
来自谷歌AI的Phenaki: 从开放领域的文本描述中生成可变长度的视频。
演示：https://phenaki.video
论文链接：https://arxiv.org/abs/2210.02399
五、文本-3D建模
从设计创新产品到在电影和游戏中创造奇妙的视觉效果，3D建模正成为文本-X生成模型的下一片蓝海。
令人惊喜的是，2022年出现了许多卓有前途的3D生成模型。在此，Fan列举了3个模型。
DreamFusion
首先登场的，是Google AI研究团队与UC Berkeley联合开发的DreamFusion。
论文链接：https://arxiv.org/pdf/2209.14988.pdf
该模型使用二维文本到图像的扩散模型来执行文本到三维的合成。
基于NeRF算法，DreamFusion可以通过给定文本生成3D模型。
该模型可以从任何角度查看，在任意照明下可以重新点亮，还可以合成到任何三维环境当中。
Magic3D
第二项成果，是英伟达AI团队的两个项目，名为GET3D和Magic3D。
GET3D论文链接：https://nv-tlabs.github.io/GET3D/assets/paper.pdf
Magic3D论文链接：https://arxiv.org/pdf/2211.10440.pdf
GET3D仅使用二维图像进行训练，可生成具有高保真纹理和复杂几何细节的三维图形。
该模型允许用户立即将其形体导入3D渲染器和游戏引擎，以便进行后续编辑。
Magic3D与DreamFusion类似，使用文本到图像模型生成2D图像，然后优化为体积NeRF（神经辐射场）数据，将低分辨率生成的粗略模型优化为高分辨率的精细模型。
根据英伟达AI团队，由此产生的Magic3D方法，可以比DreamFusion更快地生成3D目标。
Point-E
继年初推出的DALL-E 2用天才画笔惊艳所有人之后，周二OpenAI发布了最新的图像生成模型「POINT-E」，它可通过文本直接生成3D模型。
论文链接：https://arxiv.org/pdf/2212.08751.pdf
相比竞争对手们（如谷歌的DreamFusion）需要几个GPU工作数个小时，POINT-E只需单个GPU便可在几分钟内生成3D图像。
根据测试，Prompt输入后POINT-E基本可以秒出3D图像，此外输出图像还支持自定义编辑、保存等功能。
六、会玩《我的世界》的AI
《我的世界》是一款测试AI通用智能的绝佳游戏。首先，它是一款无限开放的沙盒游戏，极度体现玩家的创造力。
其次，该游戏有1.4亿的玩家群体，是英国总人口的两倍。用户基础如此庞大，供AI学习的游戏数据可谓是源源不绝。
那么，AI能否和人类一样尽情挥洒想象力呢？
Jim Fan和同事合作开发了第一个玩《我的世界》的AI「MineDojo」，它可以在自然语言提示下解决许多任务。
论文链接：https://arxiv.org/pdf/2206.08853.pdf
Fan的最终目标是建立一个「具身的ChatGPT」。目前，MineDojo平台已经完全开源。
与此同时，Jeff Clune的团队宣布了一个名为视频预训练（VPT）的模型，该模型可以直接输出键盘和鼠标的动作。
论文链接：https://arxiv.org/pdf/2206.11795.pdf
VPT拥有更广阔的视野，但不受语言条件的限制。在这点上，MineDojo和VPT恰好相辅相成。
七、AI外交官
Meta AI推出的CICERO是第一个在《外交》游戏中实现人类水平表现的人工智能智能体。
论文链接：https://www.science.org/doi/10.1126/science.ade9097
《外交》是一款七人制经典策略游戏，可以说是棋盘游戏Risk、纸牌游戏扑克和电视节目Survivor的结合。该游戏需要广泛的自然语言协商才能与人类合作和竞争。
然而，CICERO的出现表明，人工智能现在已经有说服他人和虚张声势的能力。
目前，DeepMind也宣布开发自己的外交官AI智能体。那么，如果CICERO使用这个AI模型，又会发生什么呢？
八、音频-文本模型
Whisper是OpenAI发布的一个大型开源语音识别模型，在英语语音识别方面有接近人类水平的鲁棒性和准确性。
论文链接：https://arxiv.org/pdf/2212.04356.pdf
Whisper经过了来自网络的680，000小时音频数据的训练。Open AI强调，Whisper的语音识别能力已达到人类水准。
Open AI将Whisper开源，是否是为了解锁更多文本token，用以训练万众瞩目的GPT-4呢？
九、核聚变
DeepMind与瑞士洛桑联邦理工学院（EPFL）联合开发了第一个核聚变相关的深度强化学习系统，可以保持核聚变等离子体在托卡马克内的稳定。
论文链接：https://www.nature.com/articles/s41586-021-04301-9
同样在本月，美国能源部宣布了一项巨大的突破：人类首次实现了核聚变反应的净能量增益！
这是人类首次实现这一里程碑。这一生，我们或许会成为聚变文明！
十、应用于生物学的Transformer
2021年，AlphaFold开启了语言模型预测蛋白质3D结构的序幕。
7月，DeepMind宣布了「蛋白质宇宙」——将AlphaFold的蛋白质数据库扩展到2亿个结构！
此外，英伟达AI研究团队还拓展了BioNeMo大型语言模型的框架，以帮助生物技术公司和研究人员生成、预测和理解生物分子数据。
视频讲解：https://www.youtube.com/watch?v=PWcNlRI00jo&t=4399s
以上便是Jim Fan对2022年十大AI亮点的盘点。当然，Fan也表示，还有无数令人兴奋的作品为人工智能的进步做出了贡献。
每篇论文都是AI大厦里的一砖一瓦，所有的努力都应该庆祝。
不过，Fan在最后也强调，随着人工智能系统变得越来越强大，我们必须意识到潜在的危险和风险，并采取措施减轻它们。
无论是通过仔细的培训设计、适当的监督还是全新的保障方法，人工智能的安全与伦理成为越来越的AI专家所讨论的议程。
毫无疑问，2022年是充满奇迹的一年，也是令人惊叹的一年。未来一年又会有什么震惊世界的突破？我们与你一起关注。
参考资料：
https://twitter.com/drjimfan/status/1607746957753057280?s=46&t=OVM_4zdRW2rQwqLohMdPpw
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Adobe Premiere Pro 是面向专业视频制作的非线性剪辑软件，提供多轨时间线、调色、音频处理、字幕、代理工作流和多格式输出能力，并可与 After Effects、Audition、Photoshop 及 Frame.io 协同
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件，支持 Windows、macOS 和 iPad 等平台，广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。