TPU 与 GPU：真实世界的性能和速度差异
在本文中，我们将进行TPU与GPU的比较。但在我们深入研究之前，这是你必须知道的。机器学习和人工智能技术加速了智能应用的发展。为此，半导体公司不断创建加速器和处理器，包括TPU和CPU，以处理更复杂的应用程序。一些用户在理解何时建议使用TPU以及何时使用GPU来完成他们的计算机任务时遇到了问题。GPU也称为图形处理单元，是您PC的视频卡，可为您提供视觉和身临其境的PC体验。例如，如果您的PC未检测到GPU，您可以按照简单的步骤操作。为了更好地理解这些情况，我们还需要澄
在本文中，我们将进行 TPU 与 GPU 的比较。但在我们深入研究之前，这是你必须知道的。
机器学习和人工智能技术加速了智能应用的发展。为此，半导体公司不断创建加速器和处理器，包括 TPU 和 CPU，以处理更复杂的应用程序。
一些用户在理解何时建议使用 TPU 以及何时使用 GPU 来完成他们的计算机任务时遇到了问题。
GPU 也称为图形处理单元，是您 PC 的视频卡，可为您提供视觉和身临其境的 PC 体验。例如，如果您的PC 未检测到 GPU ，您可以按照简单的步骤操作。
为了更好地理解这些情况，我们还需要澄清什么是 TPU 以及它与 GPU 的比较。
什么是 TPU？
TPU 或张量处理单元是用于特定应用的专用集成电路 (IC)，也称为 ASIC（专用集成电路）。Google 从头开始创建 TPU，于 2015 年开始使用，并于 2018 年向公众开放。
TPU 作为次要芯片或云版本提供。为了使用 TensorFlow 软件加速神经网络的机器学习，云 TPU 以惊人的速度解决复杂的矩阵和向量运算。
借助 TensorFlow，Google Brain 团队开发了一个开源机器学习平台，研究人员、开发人员和企业可以使用 Cloud TPU 硬件构建和操作 AI 模型。
在训练复杂且稳健的神经网络模型时，TPU 会缩短达到准确值的时间。这意味着使用 GPU 训练可能需要数周时间的深度学习模型所花费的时间不到这一时间的一小部分。
TPU 和 GPU 一样吗？
它们在架构上是高度不同的。图形处理单元本身就是一个处理器，尽管它是通过管道传输到矢量化数值编程的。GPU 实际上是下一代 Cray 超级计算机。
TPU 是不自己执行指令的协处理器；代码在 CPU 上执行，它为 TPU 提供小操作流。
我什么时候应该使用 TPU？
云中的 TPU 是针对特定应用程序量身定制的。在某些情况下，您可能更喜欢使用 GPU 或 CPU 执行机器学习任务。一般来说，以下原则可以帮助您评估 TPU 是否是您工作负载的最佳选择：
- 矩阵计算在模型中占主导地位
- 在模型的主训练循环中，没有自定义 TensorFlow 操作
- 他们是经过数周或数月训练的模特
- 它们是具有广泛、有效批量大小的大型模型。
现在让我们直接进行 TPU 与 GPU 的比较。
GPU和TPU有什么区别？
TPU 与 GPU 架构
TPU 不是高度复杂的硬件，感觉就像是用于雷达应用的信号处理引擎，而不是传统的 X86 衍生架构。
尽管有许多矩阵乘法除法，但它更像是一个协处理器而不是 GPU；它仅执行主机收到的命令。
由于要输入到矩阵乘法组件的权重太多，因此 TPU 的 DRAM 作为单个单元并行运行。
此外，由于 TPU 只能进行矩阵运算，因此 TPU 板与基于 CPU 的主机系统相连，以完成 TPU 无法处理的任务。
主机负责将数据传送到 TPU、预处理以及从云存储中获取详细信息。
GPU 更关心应用可用内核来工作，而不是访问低延迟缓存。
许多具有多个 SM（流式多处理器）的 PC（处理器集群）成为单个 GPU 小工具，每个 SM 中都包含第一层指令缓存层和随附的内核。
在从全局 GDDR-5 内存中提取数据之前，一个 SM 通常使用两个缓存的共享层和一个缓存的专用层。GPU 架构可以容忍内存延迟。
GPU 以最少数量的内存缓存级别运行。但是，由于 GPU 具有更多专用于处理的晶体管，因此它不太关心访问内存中数据的时间。
由于 GPU 一直被足够的计算占用，可能的内存访问延迟被隐藏了。
TPU 与 GPU 速度
这个原始的 TPU 生成有针对性的推理，它使用学习模型而不是训练模型。
在使用神经网络推理的商业 AI 应用程序上，TPU 比当前的 GPU 和 CPU 快 15 到 30 倍。
此外，TPU 非常节能，TOPS/Watt 值增加了 30 到 80 倍。
因此，在进行 TPU 与 GPU 速度比较时，可能性偏向于张量处理单元。
TPU 与 GPU 性能
TPU 是一种张量处理机器，旨在加速 Tensorflow 图计算。
在一块板上，每个 TPU 可提供高达 64 GB 的高带宽内存和 180 teraflops 的浮点性能。
Nvidia GPU 和 TPU 之间的比较如下所示。Y 轴表示每秒的照片数量，而 X 轴表示各种型号。
TPU 与 GPU 机器学习
以下是使用不同批量大小和每个 Epoch 迭代的 CPU 和 GPU 的训练时间：
- 迭代次数/时期：100，批量大小：1000，总时期：25，参数：1.84 M，模型类型：Keras Mobilenet V1（alpha 0.75）。
| 加速器 | GPU (英伟达 K80) | 热塑性聚氨酯 |
| 训练准确率 (%) | 96.5 | 94.1 |
| 验证准确率 (%) | 65.1 | 68.6 |
| 每次迭代的时间（毫秒） | 69 | 173 |
| 每个时代的时间 (s) | 69 | 173 |
| 总时间（分钟） | 30 | 72 |
- Iterations/epoch: 1000, Batch size: 100, Total epochs: 25, Parameters: 1.84 M, and Model type: Keras Mobilenet V1 (alpha 0.75)
| 加速器 | GPU (英伟达 K80) | 热塑性聚氨酯 |
| 训练准确率 (%) | 97.4 | 96.9 |
| 验证准确率 (%) | 45.2 | 45.3 |
| 每次迭代的时间（毫秒） | 185 | 252 |
| 每个时代的时间 (s) | 18 | 25 |
| 总时间（分钟） | 16 | 21 |
从训练时间可以看出，使用较小的批大小，TPU 需要更长的训练时间。但是，随着批量大小的增加，TPU 性能更接近 GPU。
因此，在进行 TPU 与 GPU 训练比较时，很大程度上与时期和批量大小有关。
TPU 与 GPU 基准测试
凭借 0.5 瓦/TOPS，单个 Edge TPU 每秒可以执行 4 万亿次操作。有几个变量会影响这转化为应用程序性能的程度。
神经网络模型有不同的要求，整体输出取决于 USB 加速器设备的主机 USB 速度、CPU 和其他系统资源。
考虑到这一点，下图对比了使用各种标准模型在 Edge TPU 上进行单一推理所花费的时间。当然，为了比较，所有运行的模型都是 TensorFlow Lite 版本。
请注意，上面的给定数据显示了运行模型所需的时间。但是，它不包括处理输入数据所需的时间，这因应用程序和系统而异。
将 GPU 基准测试的结果与用户期望的游戏质量设置和分辨率进行比较。
基于对超过 70,000 个基准测试的评估，我们精心构建了复杂的算法，以生成 90% 的游戏性能可靠估计。
尽管显卡的性能因游戏而异，但下面这张比较图给出了一些显卡的广泛评级指数。
TPU 与 GPU 价格
他们有很大的价格差异。TPU 的成本是 GPU 的五倍。这里有些例子：
- Nvidia Tesla P100 GPU 每小时 1.46 美元
- Google TPU v3 每小时收费 8.00 美元
- 具有 GCP 按需访问的 TPUv2 每小时 4.50 美元
如果以优化成本为目标，那么只有当 TPU 训练模型的速度是 GPU 的 5 倍时，您才应该选择 TPU。
CPU、GPU 和 TPU 有什么区别？
TPU、GPU 和 CPU 之间的区别在于 CPU 是一种非特定用途的处理器，它处理计算机的所有计算、逻辑、输入和输出。
另一方面，GPU 是一个额外的处理器，用于改进图形界面 (GI) 并进行高端活动。TPU 是强大的特制处理器，用于执行使用特定框架（例如 TensorFlow）开发的项目。
我们将它们分类如下：
- 中央处理器 (CPU) – 控制计算机的所有方面
- 图形处理单元 (GPU) – 提高计算机的图形性能
- 张量处理单元 (TPU) – 专为 TensorFlow 项目设计的 ASIC
英伟达制造 TPU 吗？
很多人都想知道 NVIDIA 会如何应对 Google 的 TPU，但我们现在有了答案。
NVIDIA 并没有担心，而是成功地将 TPU 重新定位为可以在有意义时使用的工具，但仍保持其 CUDA 软件和 GPU 处于领先地位。
它通过使技术开源来保持物联网机器学习采用的控制点。然而，这种方法的危险在于，它可能会为一个可能对 NVIDIA 数据中心推理引擎的长期目标构成挑战的概念提供依据。
GPU或TPU更好吗？
总之，我们必须说，尽管开发能够有效使用 TPU 的算法需要额外的成本，但减少的训练成本通常超过额外的编程费用。
选择 TPU 的其他原因包括 v3-128 8 的显存 G 超过了 Nvidia GPU，这使得 v3-8 成为处理与 NLU 和 NLP 相关的大型数据集的更好选择。
更高的速度还可能导致开发周期中的迭代更快，从而导致更快和更频繁的创新，增加市场成功的可能性。
TPU 在创新速度、易用性和可负担性方面优于 GPU；消费者和云架构师应该在他们的 ML 和 AI 计划中考虑 TPU。
谷歌的 TPU 有足够的处理能力，用户必须协调数据输入以确保没有过载。
有了它，TPU 与 GPU 的总比较。我们很想知道您的想法，看看您是否做过任何测试，以及您在 TPU 和 GPU 上收到的结果。
请记住，您可以使用任何适用于 Windows 11 的最佳显卡享受身临其境的 PC 体验。
Adobe Acrobat Pro 是面向办公、法务、财务、教育及出版用户的专业PDF处理软件，可在Mac上创建、编辑、转换、合并和保护文档，并提供OCR文字识别、表单、批注、内容比较、敏感信息遮盖及电子签名功能。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Affinity Designer 的矢量设计能力现已整合进 Affinity by Canva，可在 Mac 上进行标志、图标、插画、界面原型及印刷品设计。个人用户使用免费 Canva 账户即可使用完整的矢量、像素和版面工具。
Archicad是Graphisoft推出的建筑信息模型设计软件，可在Mac上完成概念设计、参数化建模、图纸编制、工程量统计、渲染展示及团队协同。模型与平立剖面、明细表和布局保持关联，适合建筑师、室内设计师、BIM团队及相关专业学生使用。
AutoCAD LT是Autodesk推出的专业二维CAD设计与文档编制软件，Mac版本提供原生界面、多点触控及分屏查看体验。用户可精确创建和编辑DWG图形，完成图层管理、尺寸标注、表格、PDF参考、外部参照及打印输出。
AutoCAD for Mac 是 Autodesk 面向 macOS 提供的专业计算机辅助设计软件，支持精确的二维绘图、标注、布局输出以及实体、曲面和网格建模。软件采用适配 Mac 操作习惯的界面，可处理 DWG 图纸。
Autodesk Fusion 是面向产品设计与制造的一体化云连接平台，在 Mac 上提供参数化建模、自由曲面、装配、工程图、仿真、PCB 设计和 CAM 加工等工具。它适合机械工程师、工业设计师、创客及制造团队使用。
Autodesk Maya是一套面向影视动画、游戏开发和视觉特效制作的专业三维创作软件，集多边形与曲面建模、角色绑定、关键帧动画、动力学模拟、程序化特效及Arnold渲染于一体，并提供脚本、插件和开放式制作管线支持。
Blender是一款免费开源的综合三维创作软件，可在Mac上完成建模、数字雕刻、材质制作、角色绑定、动画、物理模拟、渲染、合成及视频剪辑。软件提供Cycles与Eevee渲染工具，并支持几何节点、蜡笔绘制和Python扩展。
AutoCAD 是 Autodesk 推出的专业计算机辅助设计软件，Windows 版支持精确二维绘图、三维实体与曲面建模、图纸标注、布局发布和任务自动化，并包含多套行业专业化工具组合，适用于建筑、机械、电气、工程建设及制造设计人员。
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Cinema 4D是Maxon推出的专业三维创作软件，将建模、动画、MoGraph动态图形、粒子与动力学模拟、材质灯光及Redshift渲染整合在统一工作环境中，适用于广告包装、影视特效、产品和建筑可视化、游戏素材等制作场景。
Blender 是免费开源的三维创作套件，在 Windows 上提供建模、雕刻、材质、动画、物理模拟、合成、跟踪、视频剪辑及 Cycles、EEVEE 渲染工具。它适合个人创作者、学生和小型工作室，
Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件，集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体，
SketchUp Pro 是面向建筑、室内、景观、施工和产品设计等专业场景的三维建模工具，提供桌面建模、LayOut 二维文档、模型资源库、扩展程序及云端协作能力。其操作逻辑直观，适合从概念推敲、空间规划到图纸表达和方案汇报的完整工作流程。