H100推理飙升8倍！英伟达官宣开源TensorRT-LLM，支持10+模型
「GPU贫民」即将告别困境！刚刚，英伟达发布了一款名为TensorRT-LLM的开源软件，可以加速在H100上运行的大型语言模型的推理过程那么，具体能提升多少倍？在添加了TensorRT-LLM及其一系列优化功能后（包括In-Flight批处理），模型总吞吐量提升8倍。使用和不使用TensorRT-LLM的GPT-J-6BA100与H100的比较另外，以Llama2为例，相比独立使用A100，TensorRT-LLM能够将推理性能提升4.6倍对比Llama270B、A100和H100在使用和不使用Tens
「GPU贫民」即将告别困境！
刚刚，英伟达发布了一款名为TensorRT-LLM的开源软件，可以加速在H100上运行的大型语言模型的推理过程
那么，具体能提升多少倍？
在添加了TensorRT-LLM及其一系列优化功能后（包括In-Flight批处理），模型总吞吐量提升8倍。
使用和不使用TensorRT-LLM的GPT-J-6B A100与H100的比较
另外，以Llama 2为例，相比独立使用A100，TensorRT-LLM能够将推理性能提升4.6倍
对比Llama 2 70B、A100和H100在使用和不使用TensorRT-LLM的情况下的比较
网友表示，超强H100，再结合上TensorRT-LLM，无疑将彻底改变大型语言模型推理现状！
TensorRT-LLM：大模型推理加速神器
当前，由于大模型有着巨大的参数规模，使得「部署和推理」难度和成本一直居高不下。
英伟达开发的TensorRT-LLM旨在通过GPU来显著提高LLM的吞吐量，并降低成本
具体而言，TensorRT-LLM将TensorRT的深度学习编译器、FasterTransformer的优化内核、预处理和后处理以及多GPU/多节点通信封装在一个简单的开源Python API中
英伟达对FasterTransformer进行了进一步的增强，使其成为一个产品化的解决方案。
可见，TensorRT-LLM提供了一个易用、开源和模块化的Python应用编程接口。
不需要深入了解C++或CUDA专业知识的码农们，可以部署、运行和调试各种大型语言模型，并且能够获得卓越的性能表现，以及快速定制化的功能
根据英伟达官方博客的报道，TensorRT-LLM采用了四种方法来提升Nvidia GPU上的LLM推理性能
首先，为当前10+大模型，引入TensorRT-LLM，让开发者们能够立即运行。
其次，TensorRT-LLM作为一个开源软件库，允许LLM在多个GPU和多个GPU服务器上同时进行推理。
这些服务器分别通过，英伟达的NVLink和InfiniBand互连连接。
第三点是关于「机内批处理」，这是一项全新的调度技术，它允许不同模型的任务独立于其他任务进入和退出GPU
最后，TensorRT-LLM经过优化，可以利用H100 Transformer Engine来降低模型推理时的内存占用和延迟。
下面我们来详细看一下TensorRT-LLM是如何提升模型性能的
支持丰富LLM生态
TensorRT-LLM为开源模型生态提供了出色的支持
需要重写的内容是：具有最大规模和最先进的语言模型，例如Meta推出的Llama 2-70B，需要多个GPU协同工作才能实时提供响应
以前，要实现LLM推理的最佳性能，开发人员必须手动重写AI模型，并将其分解成多个片段，然后在GPU之间进行协调执行
TensorRT-LLM使用张量并行技术，将权重矩阵分配到各个设备上，从而简化了这一过程，可以实现大规模高效推理
每个模型可以在通过NVLink连接的多个GPU和多个服务器上并行运行，无需开发人员干预或模型更改。
随着新模型和模型架构的推出，开发人员可以使用TensorRT-LLM中开源的最新NVIDIA AI内核（Kernal）来优化模型
需要进行改写的内容是：支持的内核融合（Kernal Fusion）包括最新的FlashAttention实现，以及用于GPT模型执行的上下文和生成阶段的掩码多头注意力等
此外，TensorRT-LLM还包括了目前流行的许多大语言模型的完全优化、可立即运行的版本。
这些模型包括Meta Llama 2、OpenAI GPT-2和GPT-3、Falcon、Mosaic MPT、BLOOM等十多个。所有这些模型都可以使用简单易用的TensorRT-LLM Python API来调用
这些功能可帮助开发人员更快、更准确地搭建定制化的大语言模型，以满足各行各业的不同需求。
In-flight批处理
现如今大型语言模型的用途极其广泛。
一个模型可以同时用于多种看起来完全不同的任务——从聊天机器人中的简单问答响应，到文档摘要或长代码块的生成，工作负载是高度动态的，输出大小需要满足不同数量级任务的需求。
任务的多样性可能会导致难以有效地批处理请求和进行高效并行执行，可能会导致某些请求比其他请求更早完成。
为了管理这些动态负载，TensorRT-LLM包含一种称为「In-flight批处理」的优化调度技术。
大语言模型的核心原理在于，整个文本生成过程可以通过模型的多次迭代来实现
通过in flight批处理，TensorRT-LLM运行时会立即从批处理中释放出已完成的序列，而不是等待整个批处理完成后再继续处理下一组请求。
在执行新请求时，上一批还未完成的其他请求仍在处理中。
通过进行机上批处理和进行额外的内核级优化，可以提高GPU的利用率，从而使得H100上LLM的实际请求基准的吞吐量至少增加一倍
使用FP 8的 H100 Transformer引擎
TensorRT-LLM还提供了一个名为H100 Transformer Engine的功能，能有效降低大模型推理时的内存消耗和延迟。
因为LLM包含数十亿个模型权重和激活函数，通常用FP16或BF16值进行训练和表示，每个值占用16位内存。
然而，在推理时，大多数模型可以使用量化（Quantization）技术以较低精度有效表示，例如8位甚至4位整数（INT8或 INT4）。
量化（Quantization）是在不牺牲准确性的情况下降低模型权重和激活精度的过程。使用较低的精度意味着每个参数较小，并且模型在GPU内存中占用的空间较小。
这样做可以使用相同的硬件对更大的模型进行推理，同时在执行过程中减少在内存操作上的时间消耗
通过H100 Transformer Engine技术，配合TensorRT-LLM的H100 GPU使户能够轻松地将模型权重转换为新的FP8格式，并能自动编译模型以利用优化后的FP8内核。
而且这个过程不需要任何的代码！H100引入的FP8数据格式使开发人员能够量化他们的模型并从大幅度减少内存消耗，而且不会降低模型的准确性。
与INT8或INT4等其他数据格式相比，FP8量化保留了更高的精度，同时实现了最快的性能，并且实现起来最为方便。 与INT8或INT4等其他数据格式相比，FP8量化保留了更高的精度，同时实现了最快的性能，并且实现起来最为方便
如何获取TensorRT-LLM
尽管TensorRT-LLM尚未正式发布，但用户现在已经可以提前体验了
申请链接如下：
https://developer.nvidia.com/tensorrt-llm-early-access/join
英伟达也说会将TensorRT-LLM很快集成到NVIDIA NeMo框架中。
这个框架是最近由英伟达推出的AI Enterprise的组成部分，为企业客户提供了一个安全、稳定、可管理性极强的企业级AI软件平台
开发人员和研究人员可以通过英伟达NGC上的NeMo框架或GitHub上的项目来访问TensorRT-LLM
但是需要注意的是，用户必须注册英伟达开发者计划才能申请抢先体验版本。
网友热议
Reddit上的用户对TensorRT-LLM的发布进行了激烈的讨论
难以想象专门针对LLM对硬件做出优化之后，效果将会有多大的提升。
但也有网友认为，这个东西的意义就是帮助老黄卖更多的H100。
有些网友对此持不同意见，他们认为Tensor RT对于本地部署深度学习的用户也是有帮助的。只要拥有RTX GPU，将来在类似的产品上也有可能受益
从更宏观的角度来看，也许对于LLM而言，会出现一系列专门针对硬件级别的优化措施，甚至可能会出现专门为LLM设计的硬件来提升其性能。这种情况在许多流行的应用中已经出现过，LLM也不会例外
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。