AI大模型时代的发展需要先进的存储技术来实现稳定的进展
人工智能学科起源于1956年，之后在接下来的半个世纪中几乎没有取得进展，算力和数据的发展远远落后于算法。然而，随着2000年进入互联网时代，算力的限制被打破，人工智能逐渐渗透到各行各业，并迎来了大规模模型时代的开启。然而，高质量的数据似乎成为了人工智能发展的最后的“瓶颈”华为OceanStorPacific在最近举行的全国高性能计算学术年会（CCFHPCChina2需要重写的是：023）上荣获了“AI存力底座最佳创新奖”AI存力的理念的出现实际上从侧面体现了数据对于AI价值的不断提升需要重写的内容是：01
人工智能学科起源于1956年，之后在接下来的半个世纪中几乎没有取得进展，算力和数据的发展远远落后于算法。然而，随着2000年进入互联网时代，算力的限制被打破，人工智能逐渐渗透到各行各业，并迎来了大规模模型时代的开启。然而，高质量的数据似乎成为了人工智能发展的最后的“瓶颈”
华为OceanStor Pacific在最近举行的全国高性能计算学术年会（CCF HPC China 2需要重写的是：023）上荣获了“AI 存力底座最佳创新奖”
AI存力的理念的出现实际上从侧面体现了数据对于AI价值的不断提升
需要重写的内容是：01
数据决定人工智能的智能水平
人工智能的发展是一个不断收集和分析数据的过程。数据作为信息的载体，是人工智能学习和理解世界的基础。通用智能是人工智能发展的最终目标，它能够自主地学习、理解、推理和解决问题，而数据是推动其发展的最大动力
那么，数据越多，AI就越智能吗？只要有大量的数据，AI就能够超越专家的作用吗？
以医学领域的人工智能系统为例，许多诊断案例实际上没有唯一正确的答案。在医学诊断中，每组症状都有一系列不同概率的可能病因，因此人工智能的辅助决策可以帮助临床医生缩小可能的病因范围，直到找到解决方案。在这种情况下，医学人工智能依赖的不是大量数据，而是准确且高质量的数据，只有这样才能确保在“筛查”时不会错过真正可能的病因
数据质量对于AI智能的重要性在这个典型示范中得到了体现
在人工智能行业中，一直存在着一个共识，即“垃圾进，垃圾出”。这意味着，如果没有高质量的数据输入，无论算法有多先进，计算能力有多强大，都无法产生高质量的结果
在当今时代，我们正处于大模型的风口之上。人工智能的大模型如雨后春笋般不断涌现。华为的盘古、讯飞的星火、紫东的太初等中国的一批大模型正在快速发展，致力于构建跨行业通用的人工智能能力平台，为各行各业的数字化转型提供动力
根据中国科技部新一代人工智能发展研究中心于五月底发布的《中国人工智能大模型地图研究报告》，已有79个拥有十亿参数规模以上的大模型在中国发布。虽然“百模大战”的格局已经形成，但这也引发了对大模型发展的深入思考
基于小规模数据建立的模型，其表达能力受限于数据规模，只能进行粗粒度的模拟与预测，在精度要求比较高的情况就不再适用。如果想要进一步提升模型精度就需要利用海量数据生成相关模型
重写后的内容是：这意味着数据的数量决定了AI智能的程度。无论数据的质量如何，数据的数量都是建设“AI存力”所需重点关注的领域
需要重写的是：02
在大数据时代，数据所面临的挑战
随着人工智能向大型模型和多模态发展，企业在开发或实施大型模型应用时面临着许多挑战
首先，数据预处理的周期很长。由于数据分布在不同的数据中心、不同的应用和不同的系统中，存在归集速度慢等问题，导致预处理百TB数据需要大约10天的时间，系统的利用率从一开始就需要提高效率
其次，训练集加载效率低的问题需要解决。现在大型模型的规模越来越庞大，参数级别达到千亿甚至万亿，训练过程需要大量的计算资源和存储空间。例如，多模态大型模型以海量文本和图片作为训练集，但是当前海量小文件的加载速度较慢，导致训练集加载效率不高
此外，还面临着大型模型参数频繁调优、训练平台不稳定的挑战，平均每两天就会出现一次训练中断。为了恢复训练，需要使用检查点机制，而故障恢复的时间则超过一天，给业务连续性带来了很多挑战
为了在AI大模型时代取得成功，我们需要同时关注数据的质量和数量，并构建大容量、高性能的存储基础设施。这已经成为了取得胜利的关键要素
需要重新写作的内容是：03
AI时代的关键在于存力底座
随着大数据、人工智能等技术与高性能计算的结合，高性能数据分析（HPDA）成为实现数据价值的新形式。通过利用更多历史数据、多元异构算力和分析方法，HPDA能够提高分析精度。这标志着科学研究迈向智能化的新阶段，人工智能技术将加速前沿成果的应用
如今，科研领域正在出现一种基于"数据密集型科学"的新范式。这种范式更加注重将大数据知识挖掘和人工智能训练推理技术相结合，通过计算和分析来获取新的知识和发现。这也意味着对于底层数据基础设施的需求将会发生根本性的改变。无论是高性能计算还是人工智能的未来发展，都需要建立先进的存储基础设施来应对数据的挑战
解决数据挑战需要从数据存储创新入手，这正如谚语所说的解铃还须系铃人
AI存力底座是基于OceanStor Pacific分布式存储开发的，并秉承AI Native设计理念，以满足AI各个环节的存储需求。AI系统对存储提出了全面的挑战，包括数据计算加速、数据存储管理以及数据存储和计算之间的高效流通等等。通过采用“大容量存储 + 高性能存储”的组合，可以确保存储资源的调度和协调一致，使每个环节都能高效运转，从而充分释放AI系统的价值
OceanStor Pacific分布式存储如何展现其核心能力呢？
首先，技术架构在业界是独创的。这套存储系统支持无限横向扩展，并且能够处理混合负载，既能高效处理小文件的IOPS，也能高速读写大文件的带宽。它具备智能的性能层和容量层数据分级流转功能，能够实现对海量数据的归集、预处理、训练和推理等全流程的AI数据管理。此外，它还具备与HPC和大数据相同的数据分析能力
重写后的内容为：其次，业内效率最佳的提升方法是通过存储的创新。首先是数据编织，即通过GFS全局文件系统将分散在不同地区的原始数据接入，实现跨系统、跨地区、跨多云的全局统一数据视图和调度，简化数据收集过程。其次是近存计算，通过存储内嵌的算力实现对近数据的预处理，减少无效数据传输，同时降低预处理服务器的等待时间，从而显著提高预处理效率
实际上，"百模大战"并不是AI大模型发展的"标志"。未来，各行各业都将通过AI大模型的能力来推动数字化转型的深入发展，同时数据基础设施的建设也将加速推进。OceanStor Pacific分布式存储在技术架构的创新和高效率的表现，已经证明自己是行业的首选
我们明白，数据已经成为与土地、劳动力、资本、技术并列的新型生产要素。过去数字化市场中的许多传统定义和运行模式都将被重新书写。只有先存力，才能确保数据驱动的人工智能大模型时代稳步向前
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。