MIT新材料打造「人造突触2.0」，模拟深度学习训练提速100万倍！
近年来，随着科学家们不断推动机器学习的边界，训练日益复杂的神经网络模型所需的时间、能源和资金正在飞速增长。「模型能建，训练太慢」成为困扰越来越多研究人员的一个头疼问题。最近，被称为「模拟深度学习」的人工智能新领域有望以更少的能源实现更快的计算。可编程电阻器是模拟深度学习的关键部分，就像晶体管是数字处理器的核心元素一样。通过在复杂的层中重复排列可编程电阻器，研究人员可以创建一个模拟人工神经元和突触网络，就像数字神经网络一样执行计算。这个网络可以被训练来实现复杂的人工智能任务，如图像识别和自然语言处理。模拟神
近年来，随着科学家们不断推动机器学习的边界，训练日益复杂的神经网络模型所需的时间、能源和资金正在飞速增长。「模型能建，训练太慢」成为困扰越来越多研究人员的一个头疼问题。
最近，被称为「模拟深度学习」的人工智能新领域有望以更少的能源实现更快的计算。可编程电阻器是模拟深度学习的关键部分，就像晶体管是数字处理器的核心元素一样。
通过在复杂的层中重复排列可编程电阻器，研究人员可以创建一个模拟人工神经元和突触网络，就像数字神经网络一样执行计算。这个网络可以被训练来实现复杂的人工智能任务，如图像识别和自然语言处理。
模拟神经网络的计算速度很大程度上取决于「人造突触」的传输速度。麻省理工学院的一个团队要解决的就是这个环节。他们之前已经开发了一种人造模拟突触，现在要做的是，搞个新材料，超越原来的老版本。
这次，他们在制造过程中利用了一种实用的无机材料，让前文提到的可编程电阻器的运行速度达到了以前的版本的100万倍，同时也实现了比人脑中的突触快约100万倍。此外，这种材料还使电阻的能源效率极高。与早期版本的设备中使用的材料不同，新材料与硅制造技术兼容。这一变化使得在纳米尺度上制造器件成为可能，并可能为整合到深度学习应用的商业计算硬件中铺平道路。这项研究论文已经发表在Science上。
论文链接：https://www.science.org/doi/pdf/10.1126/science.abp8064
论文的通信作者、麻省理工学院电气工程和计算机科学系（EECS）的唐纳教授Jesús A. del Alamo说：「凭借这一关键发现，加上MIT.nano的强大的纳米制造技术，我们已经能够把这些碎片放在一起，并证明这些设备本质上是非常快的，可以在合理的电压下运行。」「该设备的工作机制是将最小的离子--质子--电化学插入绝缘氧化物中，以调节其电子传导性。因为我们用的设备非常薄，所以可以通过使用强电场来加速这个离子的运动，并将这些离子设备推向纳秒级操作」论文通信作者、核科学与工程系和材料科学与工程系的Breene M. Kerr教授Bilge Yildiz解释说。论文通信作者、巴特尔能源联盟核科学与工程系教授和材料科学与工程系教授Ju Li说：
「生物细胞中的动作电位以毫秒级尺度上升和下降，因为大约0.1伏的电压差受制于水的稳定性。"在这里，我们在一个特殊的纳米级厚度的固体玻璃薄膜上施加高达10伏的电压，该薄膜可以传导质子，而不会永久损坏它。而且，电场越强，离子设备运行速度就越快。」本文的共同作者还包括材料科学与工程系的Ellen Swallow Richards教授Frances M. Ross；博士后Nicolas Emond和Baoming Wang；以及EECS的研究生Difei Zhang。
这些可编程电阻器极大地提高了神经网络的训练速度，同时极大降低了进行训练的成本和能耗。这可以帮助科学家们更快地开发深度学习模型，应用于自动驾驶汽车、欺诈检测或医学图像分析等用途。「一旦有了模拟处理器，就不用再训练其他人正在研究的网络了。你可以训练具有前所未有的高复杂度的网络，而这种复杂度是其他人无法承受的。换句话说，这不仅仅是一辆跑得快的汽车，而是一家飞机」。论文第一作者、麻省理工学院博士后Murat Onen说。
100万倍加速深度学习
模拟深度学习之所以比其数字深度学习更快、更节能，主要有两个原因。
首先，计算是在内存中进行的，所以巨大的数据负载不会从内存来回传输到处理器。模拟处理器也以并行方式进行操作。如果矩阵扩大，模拟处理器不需要更多时间来完成新的操作，因为所有的计算都是同时进行的。麻省理工学院新的模拟处理器技术的关键元素被称为质子可编程电阻。这些电阻以纳米为单位，排列成一个阵列，就像一个棋盘。
纳秒级质子可编程电阻器
为了开发一种超高速、高能效的可编程质子电阻，研究人员寻找了不同的电解质材料。当其他设备使用有机化合物时，Onen却专注于无机磷硅酸盐玻璃（PSG）。PSG基本上是二氧化硅，这是一种粉状的干燥剂材料，用来除湿。
在加湿条件下，研究人员研究了它作为燃料电池的质子导体。它也是硅加工中最著名的氧化物。为了制造PSG，硅中加入了少量的磷，使其具有质子传导的特殊特性。Onen假设，优化后的PSG在室温下可以具有较高的质子导电性，且不需要水，这将使其成为理想的固体电解质。
惊人的速度
PSG能够实现质子的超快运动，因为它包含大量纳米大小的孔，这些孔的表面为质子扩散提供了路径。
它还能承受非常强的脉冲电场。
Onen解释说：「这一点至关重要，因为对装置施加更多的电压可以使质子极速移动。」
Onen说：「这种速度相当令人惊讶。通常情况下，我们不会在设备上使用如此强大的磁场，以避免它们变成灰烬。但相反，质子最终以巨大的速度穿梭在设备堆上，而且还是比我们之前的速度快一百万倍。此外，由于质子体积小、质量低，这种运动不会破坏任何东西。它几乎就像传送一样。」
因为质子不会损坏材料，所以电阻器可以运行数百万个周期而不发生故障。
质子可编程电阻器的超快和高能效调制特性
这种新型电解质使可编程质子电阻器的速度比以前的设备快100万倍，并且可以在室温下有效工作，这对于将其纳入计算硬件非常重要。
由于PSG的绝缘特性，当质子运动时，几乎没有电流通过材料。Onen补充说：「这使得该设备非常节能。」
del Alamo表示：「现在他们已经证明了这些可编程电阻器的有效性，研究人员计划对其进行重新设计，以实现大批量生产。然后他们可以研究电阻阵列的特性，并将其放大，以便将其嵌入到系统中。」
Yildiz补充说：「这些离子设备可以实现的另一个令人兴奋的方向是节能硬件，以模拟神经科学中推导的神经回路和突触可塑性规则，超越模拟深度神经网络。我们已经开始与神经科学进行这样的合作，得到了MIT Quest for Intelligence的支持。」
del Alamo说：「 我们的合作对未来的创新至关重要。未来的道路仍然充满挑战，但同时也非常令人兴奋！」
斯坦福大学材料科学与工程副教授William Chueh说：「 诸如锂离子电池中发现的插层反应已经在存储设备中得到了广泛的探索。这项工作表明，基于质子的存储器件提供了令人印象深刻且令人惊讶的开关速度和耐用性。」
不过William Chueh并没有参与这项研究。
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。