被PyTorch打爆！谷歌抛弃TensorFlow，押宝JAX
很喜欢有些网友的一句话：「这孩子实在不行，咱再要一个吧。」谷歌还真这么干了。养了七年的TensorFlow终于还是被Meta的PyTorch干趴下了，在一定程度上。谷歌眼见不对，赶紧又要了一个——「JAX」，一款全新的机器学习框架。最近超级火爆的DALL·EMini都知道吧，它的模型就是基于JAX进行编程的，从而充分地利用了谷歌TPU带来的优势。TensorFlow的黄昏和PyTorch的崛起2015年，谷歌开发的机器学习框架——TensorFlow问世。当时，TensorFlow只是GoogleBr
很喜欢有些网友的一句话：
「这孩子实在不行，咱再要一个吧。」
谷歌还真这么干了。
养了七年的TensorFlow终于还是被Meta的PyTorch干趴下了，在一定程度上。
谷歌眼见不对，赶紧又要了一个——「JAX」，一款全新的机器学习框架。
最近超级火爆的DALL·E Mini都知道吧，它的模型就是基于JAX进行编程的，从而充分地利用了谷歌TPU带来的优势。
TensorFlow的黄昏和PyTorch的崛起
2015年，谷歌开发的机器学习框架——TensorFlow问世。
当时，TensorFlow只是Google Brain的一个小项目。
谁也没有想到，刚一问世，TensorFlow就变得非常火爆。
优步、爱彼迎这种大公司在用，NASA这种国家机构也在用。而且还都是用在他们各自最为复杂的项目上。
而截止到2020年11月，TensorFlow的下载次数已经达到了1.6亿次。
不过，谷歌好像并没有十分在乎这么多用户的感受。
奇奇怪怪的界面和频繁的更新都让TensorFlow对用户越来越不友好，并且越来越难以操作。
甚至，就连谷歌内部，也觉得这个框架在走下坡路。
其实谷歌如此频繁的更新也实属无奈，毕竟只有这样才能追得上机器学习领域快速地迭代。
于是，越来越多的人加入了这个项目，导致整个团队慢慢失去了重点。
而原本让TensorFlow成为首选工具的那些闪光点，也被埋没在了茫茫多的要素里，不再受人重视。
这种现象被Insider形容为一种「猫鼠游戏」。公司就像是一只猫，不断迭代出现的新需求就像是一只只老鼠。猫要时刻保持警惕，随时扑向老鼠。
这种困局对最先打入某一市场的公司来说是避不开的。
举个例子，就搜索引擎来说，谷歌并不是第一家。所以谷歌能够从前辈（AltaVista、Yahoo等等）的失败中总结经验，应用在自身的发展上。
可惜到了TensorFlow这里，谷歌是被困住的那一个。
正是因为上面这些原因，原先给谷歌卖命的开发者，慢慢对老东家失去了信心。
昔日无处不在的TensorFlow渐渐陨落，败给了Meta的后起之秀——PyTorch。
2017年，PyTorch的测试版开源。
2018年，Facebook的人工智能研究实验室发布了PyTorch的完整版本。
值得一提的是，PyTorch和TensorFlow都是基于Python开发的，而Meta则更注重维护开源社区，甚至不惜大量投入资源。
而且，Meta关注到了谷歌的问题所在，认为不能重蹈覆辙。他们专注于一小部分功能，并把这些功能做到最好。
Meta并没有步谷歌的后尘。这款首先在Facebook开发出来的框架，慢慢成为了行业标杆。
一家机器学习初创公司的研究工程师表示，「我们基本都用PyTorch。它的社群和开源做得是最出色的。不仅有问必答，给的例子也很实用。」
面对这种局面，谷歌的开发者、硬件专家、云提供商，以及任何和谷歌机器学习相关的人员在接受采访时都说了一样的话，他们认为TensorFlow失掉了开发者的心。
经历了一系列的明争暗斗，Meta最终占了上风。
有专家表示，谷歌未来继续引领机器学习的机会正慢慢流失。
PyTorch逐渐成为了寻常开发者和研究人员的首选工具。
从Stack Overflow提供的互动数据上看，在开发者论坛上有关PyTorch的提问越来越多，而关于TensorFlow的最近几年一直处于停滞状态。
就连文章开始提到的优步等等公司也转向PyTorch了。
甚至，PyTorch后来的每一次更新，都像是在打TensorFlow的脸。
谷歌机器学习的未来——JAX
就在TensorFlow和PyTorch打得热火朝天的时候，谷歌内部的一个「小型黑马研究团队」开始致力于开发一个全新的框架，可以更加便捷地利用TPU。
2018年，一篇题为《Compiling machine learning programs via high-level tracing》的论文，让JAX项目浮出水面，作者是Roy Frostig、Matthew James Johnson和Chris Leary。
从左至右依次是这三位大神
而后，PyTorch原始作者之一的Adam Paszke，也在2020年初全职加入了JAX团队。
JAX提供了一个更直接的方法用于处理机器学习中最复杂的问题之一：多核处理器调度问题。
根据所应用的情况，JAX会自动地将若干个芯片组合而成一个小团体，而不是让一个去单打独斗。
如此带来的好处就是，让尽可能多的TPU片刻间就能得到响应，从而燃烧我们的「炼丹小宇宙」。
最终，相比于臃肿的TensorFlow，JAX解决了谷歌内部的一个心头大患：如何快速访问TPU。
下面简单介绍一下构成JAX的Autograd和XLA。
Autograd主要应用于基于梯度的优化，可以自动区分Python和Numpy代码。
它既可以用来处理Python的一个子集，包括循环、递归和闭包，也可以对导数的导数进行求导。
此外，Autograd支持梯度的反向传播，这也就这意味着它可以有效地获取标量值函数相对于数组值参数的梯度，以及前向模式微分，并且两者可以任意组合。
XLA（Accelerated Linear Algebra）可以加速TensorFlow模型而无需更改源代码。
当一个程序运行时，所有的操作都由执行器单独执行。每个操作都有一个预编译的GPU内核实现，执行器会分派到该内核实现。
举个栗子：
def model_fn(x, y, z):
return tf.reduce_sum(x + y * z)
在没有XLA的情况下运行，该部分会启动三个内核：一个用于乘法，一个用于加法，一个用于减法。
而XLA可以通过将加法、乘法和减法「融合」到单个GPU内核中，从而实现优化。
这种融合操作不会将由内存产生的中间值写入y*z内存x+y*z；相反，它将这些中间计算的结果直接「流式传输」给用户，同时将它们完全保存在GPU中。
在实践中，XLA可以实现约7倍的性能改进和约5倍的batch大小改进。
此外，XLA和Autograd可以任意组合，甚至可以利用pmap方法一次使用多个GPU或TPU内核进行编程。
而将JAX与Autograd和Numpy相结合的话，就可以获得一个面向CPU、GPU和TPU的易于编程且高性能的机器学习系统了。
显然，谷歌这一次吸取了教训，除了在自家全面铺开以外，在推进开源生态的建设方面，也是格外地积极。
2020年DeepMind正式投入JAX的怀抱，而这也宣告了谷歌亲自下场，自此之后各种开源的库层出不穷。
纵观整场「明争暗斗」，贾扬清表示，在批评TensorFlow的进程中，AI系统认为Pythonic的科研就是全部需求。
但一方面纯Python无法实现高效的软硬协同设计，另一方面上层分布式系统依然需要高效的抽象。
而JAX正是在寻找更好的平衡，谷歌这种愿意颠覆自己的pragmatism非常值得学习。
causact R软件包和相关贝叶斯分析教科书的作者表示，自己很高兴看到谷歌从TF过渡到JAX，一个更干净的解决方案。
谷歌的挑战
作为一个新秀，Jax虽然可以借鉴PyTorch和TensorFlow这两位老前辈的优点，但有的时候后发可能也会带来劣势。
首先，JAX还太「年轻」，作为实验性的框架，远没有达到一个成熟的谷歌产品的标准。
除了各种隐藏的bug以外，JAX在一些问题上仍然要依赖于其他框架。
拿加载和预处理数据来说，就需要用TensorFlow或PyTorch来处理大部分的设置。
显然，这和理想的「一站式」框架还相去甚远。
其次，JAX主要针对TPU进行了高度的优化，但是到了GPU和CPU上，就要差得多了。
一方面，谷歌在2018年至2021年组织和战略的混乱，导致在对GPU进行支持上的研发的资金不足，以及对相关问题的处理优先级靠后。
与此同时，大概是过于专注于让自家的TPU能在AI加速上分得更多的蛋糕，和英伟达的合作自然十分匮乏，更不用说完善对GPU的支持这种细节问题了。
另一方面，谷歌自己的内部研究，不用想肯定都集中在TPU上，这就导致谷歌失去了对GPU使用的良好反馈回路。
此外，更长的调试时间、并未与Windows兼容、未跟踪副作用的风险等等，都增加了Jax的使用门槛以及友好程度。
现在，PyTorch已经快6岁了，但完全没有TensorFlow当年显现出的颓势。
如此看来，想要后来者居上的话，Jax还有很长一段路要走。
WPS Office是一款面向macOS用户的综合办公套件，将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式，支持Intel及Apple芯片Mac，基础功能可免费使用，
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站，提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片，并可连接音频接口、MIDI控制器和第三方插件。
Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具，并可与 Premiere Pro、Photoshop、Illustrator
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具，可集中预览照片、视频和 Adobe 项目文件，并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件，可将原始照片保存在本地硬盘，通过目录、关键词、评分和收藏夹高效整理图库，并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。
Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具，可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出，并与 Premiere Pro、After Effects 等软件紧密协作。
Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件，提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Navicat Premium 是一体化数据库开发与管理工具，可在同一界面连接 MySQL、PostgreSQL、SQL Server、Oracle、SQLite、MongoDB、Redis 等数据库，
Adobe Premiere（原名 Adobe Premiere Pro）是一款面向影视、短视频、广告和网络内容制作的专业非线性编辑软件。Windows 版提供多轨剪辑、字幕转录、调色、音频处理、动态图形、格式转换与智能辅助工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
WPS Office 是金山办公推出的一体化办公套件，在 Windows 上提供文字处理、电子表格、演示文稿和 PDF 工具，并支持常见 Microsoft Office 文件格式。个人用户可以免费使用基础功能，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件，支持 Windows、macOS 和 iPad 等平台，广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
