VMware 与 NVIDIA 为企业开启生成式 AI 时代
VMware和NVIDIA于今日宣布扩展双方的战略合作伙伴关系，帮助成千上万家使用VMware云基础架构的企业做好准备，迎接AI时代的到来。VMwarePrivateAIFoundationwithNVIDIA将使企业能够自定义模型并运行各种生成式AI应用，如智能聊天机器人、助手、搜索和摘要等。该平台将作为全集成式解决方案，采用NVIDIA提供的生成式AI软件和加速计算，基于VMwareCloudFoundation构建，并针对AI进行了优化。VMware首席执行官RaghuRaghuram表示：“生成式
VMware和 NVIDIA于今日宣布扩展双方的战略合作伙伴关系，帮助成千上万家使用 VMware 云基础架构的企业做好准备，迎接AI时代的到来。
VMware Private AI Foundation with NVIDIA 将使企业能够自定义模型并运行各种生成式 AI 应用，如智能聊天机器人、助手、搜索和摘要等。该平台将作为全集成式解决方案，采用 NVIDIA 提供的生成式 AI 软件和加速计算，基于 VMware Cloud Foundation 构建，并针对 AI 进行了优化。
VMware 首席执行官 Raghu Raghuram 表示：“生成式 AI 与多云可谓珠联璧合。客户的数据无处不在，遍布其数据中心、边缘、云等多处。我们将与 NVIDIA 一同助力企业放心地在数据附近运行生成式 AI 工作负载，并解决其在企业数据隐私、安全和控制方面的问题。”
NVIDIA 创始人兼首席执行官黄仁勋表示：“世界各地的企业都在竞相将生成式 AI 整合到自身业务中。通过与 VMware 扩大合作，我们将能够为金融服务、医疗、制造等领域的成千上万家客户提供其所需的全栈式软件和计算，使其能够使用基于自身数据定制的应用，充分挖掘生成式 AI 的潜力。”
全栈式计算大幅提升生成式 AI 的性能
为更快实现业务效益，企业希望简化并提高生成式 AI 应用的开发、测试和部署效率。根据麦肯锡的预测，生成式 AI 每年可为全球经济带来多达 4.4 万亿美元的增长(1)。
VMware Private AI Foundation with NVIDIA 将助力企业充分利用这一能力，以定制大语言模型，创建供内部使用的更加安全的私有模型，将生成式 AI 作为一项服务提供给用户，并更加安全地大规模运行推理工作负载。
该平台计划提供的各种集成式 AI 工具，将帮助企业经济高效地运行使用其私有数据训练而成的成熟模型。这一建立在 VMware Cloud Foundation 和 NVIDIA AI Enterprise 软件上的平台预计能够提供以下方面的优势：
• 隐私：将通过能够保护数据隐私并确保访问安全的架构，使客户能够在任何数据所在地轻松运行 AI 服务。
• 选择：从NVIDIA NeMo™到Llama 2等，企业在构建和运行其模型的位置上将拥有广泛的选择空间，包括领先的 OEM 硬件配置以及未来的公有云和服务提供商解决方案。
• 性能：近期的行业基准测试表明，某些用例在 NVIDIA 加速的基础设施上运行的性能与裸机性能相当，甚至超过了裸机性能。
• 数据中心规模：虚拟化环境中的 GPU 扩展优化使 AI 工作负载能够在单个虚拟机和多个节点上扩展到最多 16 颗 vGPU/GPU，从而加快生成式 AI 模型的微调和部署速度。
• 更低的成本：将最大程度地利用 GPU、DPU 和 CPU 的所有计算资源以降低总体成本，并创建可在各个团队间高效共享的池化资源环境。
• 加速存储：VMware vSAN Express Storage Architecture 提供性能经过优化的 NVMe 存储，并支持通过 RDMA 实现 GPUDirect® 存储，从而无需 CPU 即可实现从存储到 GPU 的直接 I/O 传输。
• 加速网络：vSphere 与 NVIDIA NVSwitch™ 技术之间的深度集成将进一步确保多 GPU 模型的执行不会出现 GPU 间瓶颈问题。
• 快速部署和价值实现时间：vSphere Deep Learning VM 镜像和镜像库将提供稳定的交钥匙解决方案镜像，该镜像预先安装了各种框架和性能经过优化的库，可实现快速原型开发。
该平台将采用的 NVIDIA NeMo是 NVIDIA AI Enterprise（NVIDIA AI 平台的操作系统）中包含的端到端云原生框架，可助力企业在几乎任何地点构建、自定义和部署生成式 AI 模型。NeMo 集自定义框架、护栏工具包、数据整理工具和预训练模型于一身，使企业能够以一种简单、经济且快速的方式来采用生成式 AI。
为将生成式 AI 部署到生产中，NeMo 使用 TensorRT for Large Language Models（TRT-LLM），以加速并优化 NVIDIA GPU 上最新 LLM 的推理性能。通过 NeMo，VMware Private AI Foundation with NVIDIA 将使企业能够导入自己的数据，并在 VMware 混合云基础架构上构建和运行自定义生成式 AI 模型。
在VMware Explore 2023大会上，NVIDIA与VMware将重点介绍企业内部的开发人员如何使用全新 NVIDIA AI Workbench 提取社区模型（例如 Hugging Face 上提供的 Llama 2），对这些模型进行远程自定义并在VMware环境中部署生产级生成式 AI。
生态圈对 VMware Private AI Foundation With NVIDIA 的广泛支持
VMware Private AI Foundation with NVIDIA将得到戴尔、慧与和联想的支持。这三家企业将率先提供搭载 NVIDIA L40S GPU、NVIDIA BlueField®-3 DPU 和 NVIDIA ConnectX®-7 智能网卡的系统，这些系统将加速企业 LLM 定制和推理工作负载。
相较于 NVIDIA A100 Tensor Core GPU，NVIDIA L40S GPU 可将生成式 AI 的推理性能和训练性能分别提高 1.2 倍和 1.7 倍。
NVIDIA BlueField-3 DPU 可加速、卸载和隔离 GPU 或 CPU 上的巨大计算工作负载，其中包含虚拟化、网络、存储、安全，以及其他云原生 AI 服务。
NVIDIA ConnectX-7 智能网卡可为数据中心基础设施提供智能、加速网络，以承载全球一些要求严苛的 AI 工作负载。
VMware Private AI Foundation with NVIDIA 建立在两家公司长达十年的合作基础之上。双方的联合研发成果优化了 VMware 的云基础架构，使其能够以媲美裸机的性能运行NVIDIA AI Enterprise。VMware Cloud Foundation 所提供的资源及基础架构管理与灵活性将进一步惠及双方共同的客户。
供应情况
VMware 计划于 2024 年初发布 VMware Private AI Foundation with NVIDIA。
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。