展开菜单
首页 精品内容 本月促销 装机必备 Windows PDF教程 macOS软件 IOS软件 Android AI 专题
全部分类

当前位置:

首页 > 业界资讯 > 腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析

腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析

2023年,大模型的落地按下加速键,文生图便是最火热的应用方向之一。自从StableDiffusion诞生以来,海内外的文生图大模型不断涌现,一时有「神仙打架」之感。每一次技术迭代,都带来了模型生成效果和速度的飞速提升。就在今天,腾讯混元大模型也宣布了最新进展:文生图能力正式上线。一上手试用,我们就看到了混元大模型对于博大精深的中餐文化的理解。这里选取了让很多大模型犯难的「蚂蚁上树」,但混元轻松生成:问题来了,现在的文生图大模型这么卷,混元大模型还有没有其他特别的优势?据官方介绍,如果从算法、模型方面来讲

本文目录
    2023 年,大模型的落地按下加速键,文生图便是最火热的应用方向之一。

    自从 Stable Diffusion 诞生以来,海内外的文生图大模型不断涌现,一时有「神仙打架」之感。每一次技术迭代,都带来了模型生成效果和速度的飞速提升。

    就在今天,腾讯混元大模型也宣布了最新进展:文生图能力正式上线。

    一上手试用,我们就看到了混元大模型对于博大精深的中餐文化的理解。这里选取了让很多大模型犯难的「蚂蚁上树」,但混元轻松生成:

    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析

    问题来了,现在的文生图大模型这么卷,混元大模型还有没有其他特别的优势?

    据官方介绍,如果从算法、模型方面来讲,当前文生图大模型还存在一些挑战,比如语义理解不够精准、生成图片结构不合理、画面细节不够和质感不高等问题。

    腾讯很早就开始在广告场景进行 AI 自动生成图像的探索,相关的积累不可谓不深厚。此次混元大模型升级的文生图能力,恰恰希望解决「语义、内容、质感」这三点难题。

    据介绍,相比其他大模型,腾讯混元的文生图在人像真实感、场景真实感上有比较明显的优势,同时,在中国风景、动漫游戏等场景等生成上有较好的表现。

    上手实测:混元文生图,有什么不一样?

    做好「文生图」这件事,对「文」的充分理解至关重要。

    在语义理解方面,混元文生图模型采用了中英文双语细粒度的模型,同时基于中英文双语建模实现双语理解,且通过优化算法提升了模型对细节的感知能力与生成效果。

    在此之前,像 Stable Diffusion 这样的热门模型虽然支持一定程度的中文,但其核心数据集 LAION-5B 仍以西方化内容为主,对中国的语言、美食、文化、习俗都理解不够。

    而混元文生图模型是一个中文原生的文生图模型,无论用户输入的中文诗句还是成语,都可以直接要求其创作画作。

    在内容合理性方面,混元文生图通过增强算法模型的图像二维空间位置感知能力,并将人体骨架和人手结构等先验信息引入到生成过程中,让生成的图像结构更合理,改善了 AI 生成人体结构和手部不合理的问题。

    在画面质感方面,混元文生图基于多模型融合的方法,提升生成质感。经过优化之后,混元文生图的人像模型(发丝、皱纹等)效果提升了 30%,场景模型(草木、波纹等)效果提升了 25%。

    这三方面的技术优势,对于混元大模型文生图产品体验的提升是显而易见的。

    为了验证上述能力,本站设置了一些题目,第一时间对混元大模型进行了摸底测试。

    鉴于混元是中文原生模型,自然也比其他同类产品更懂「古代中国的语言」,我们首先让它根据古诗词进行绘画。

    我们选取一句非常有意境的古诗「醉后不知天在水,满船清梦压星河」来测试,看混元大模型能否生成极具画面感的图。
    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析
    在《泊船瓜洲》这首诗中,一句「春风又绿江南岸,明月何时照我还」,写出了无数游子的乡愁。混元的生成结果,提取出「春光」、「水岸」、「明月」等意象进行有机组合,让人看到之后仿佛置身诗句场景之中:
    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析
    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析
    然后是有趣的「中国菜绘画」环节,来一道「鱼香肉丝」经典考题吧:
    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析
    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析
    从让人 san 值狂掉的中餐绘画,到现在看图下饭的水准,我们也能感受到文生图技术的不断进化。

    接下来看看在业界公认的「人像真实感」难题上,混元做得如何:

    我们知道最初 Midjourney 爆火,就是因为下面这张情侣照片,让人无法分辨这竟然无 AI 生成的。
    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析
                                   用 midjourney v5 生成的情侣图

    现在,我们考察一下混元大模型生成「照骗」的能力。使用的 Prompt 是:
    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析
    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析
    你觉得真实感如何?在我们看来,Prompt 中提到的细节拉满。

    这也就是腾讯重点强调的:混元大模型通过优化算法提升了对细节的感知能力与生成效果。这种能力,在很多具体的场景中才得以体现。

    例如在动画场景中,生成「一头小鹿在森林中奔跑、带动落叶飞起、月亮很亮很大、小鸟在空中飞翔,氛围感,CG 风格,侧面视角」。
    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析
    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析
    是不是特别像是小时候看的动画中的画面?

    此外,在动漫创作中,文生图应用潜力巨大。

    我们给到混元大模型的 Prompt 是「生成 3D,动漫风格,1 个女孩,金色头发,微笑,短发,城市背景」:
    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析
    你觉得生成效果如何?是不是可以直接拿来当壁纸了?

    文生图背后,有哪些自研技术?

    工欲善其事,必先利其器,对于大模型同样如此。

    我们了解到,除了创新模型算法,腾讯混元大模型实现这样接中文地气的文生图效果,其背后还离不开高质量的图文匹配数据、自研的机器学习框架以及强大的算力基础设施。

    腾讯混元大模型已经形成了从模型算法到机器学习框架再到 AI 基础设施的全链路自研技术路径。多层次的技术沉淀,意味着大模型的进化需要一步一个脚印,从实践出发,在实践中提升。

    首先来看支撑模型训练的数据工程。

    对于任何 AI 特别是大模型而言,数据都是不可或缺的三大要素之一。大模型文生图功能亦是如此,图文数据尤其是图文之间的匹配数据对生成效果的影响举足轻重。

    但是网络上已有数据并不是都能拿来即用的,其中很大的问题是文字对图片的描述不一定准确,这就导致大多数图文匹配数据质量比较差。如果拿来用,即使训练时间很长,模型生成效果依然达不到预期,也会影响生成质量的稳定性和后续的迭代效率。

    因此,提升图文数据质量成为保证文生图效果的「第一道关」。这时候往往需要通过工程化的方式提升数据质量,支撑模型训练、优化和升级,构筑算法模型的护城河。

    面对图文匹配数据问题,腾讯混元文生图团队的应对策略是这样的:首先细粒度地完善中文 prompt,提升图文相关性,最大化数据质量;然后采取训练数据分层、分级的策略,逐步优化模型,最大化数据效果;最后建设数据飞轮,它是大模型快速迭代的关键。团队基于线上用户使用大模型的反馈,自动化构建训练数据,加快模型迭代,最大化数据效率。

    数据质量、效果和效率提上去了,这就为良好的文生图效果打下了基础。而接下来要讲的机器学习框架同样重要。

    强大的机器学习框架或平台会极大地提升开发者构建、训练和部署模型的速度和效率。腾讯针对大模型训练和推理场景,自研了 Angel 机器学习平台,主要包括负责训练的 AngelPTM 和负责推理的 AngelHCF 两大部分。

    其中 AngelPTM 采用 ZeRO-Cache 优化策略,成为超大模型训练利器,它通过存储管理扩大单机模型容量,通过多流异步提高资源利用率,通过显存管理提高显存效率。此外利用 4D 并行提高可用显存上限,减少千卡通信压力,释放计算潜能。自动续训机制支持千卡故障自动容错,减少中断时间。模型训练情况也在实时监控之下,协同算法优化模型训练方向。

    目前,AngelPTM 基于业界首创的 ZeRO-Cache 机制 + 4D 并行实现了千亿混元基座模型的高速训练,训练速度相比主流开源框架(DeepSpeed-Chat)提升 1 倍。
    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析
                                        ZeRO-Cache 概图。

    AngelHCF 主要从定制多样化服务策略、并行策略、框架加速(覆盖常用 GPU 加速方法)、模型压缩(支持业界常用压缩方法)和高效模型 Debug 能力五个层面提升大模型的推理性能。推理速度相比业界主流框架(FasterTransformer)提升 1.3 倍。

    腾讯表示,其 Angel 机器学习平台具备了领先性能,能够帮助提供更好的基建体系,助力大模型们高速运行。这使得混元大模型生成高质图片的同时,生成速度也大大改进。

    拥有了高质量的数据、高效的机器学习框架,大模型的持续运行还面临着算力层面的考验。毕竟,大模型时代,算力为王。

    腾讯混元文生图功能离不开腾讯云提供的强大算力基础设施。2023 年 4 月,腾讯云发布新一代 HCC 高性能计算集群,采用最新一代星星海自研服务器,并基于自研网络和存储架构,实现了 3.2T 超高互联带宽、TB 级吞吐能力和千万级 IOPS。新一代集群算力性能较前代提升了 3 倍,较传统算力集群方案提升 12 倍以上。
    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析
    夯实底层硬件的同时,上层软件能力也要齐头并进。新一代 HCC 集群集成了腾讯云自研的 TACO 训练加速引擎,从网络协议、通信策略、AI 框架、模型编译层面做了大量系统级优化。这套全生态的训练加速方案不仅可以帮助客户降低 AI 优化门槛,提升 AI 训练性能,还使训练调优和算力成本大大降低。

    看起来,制约大模型的三大要素算法、数据和算力,在腾讯混元大模型这里都不成问题了。自然而然,文生图质量和效果也得到了保障。

    效果「以假乱真」,
    文生图能力已嵌入腾讯广告场景

    今天我们看到的混元大模型文生图能力,并非一蹴而就,而是一个实实在在的演进过程。

    在上个月举行的 2023 腾讯全球数字生态大会上,腾讯混元大模型正式亮相。腾讯集团副总裁蒋杰当时表示,混元永远在路上。腾讯会一直演进混元的能力,并希望每个月都会给大家带来惊喜。

    目前,腾讯已有 180 个内部业务接入混元大模型,包括包括腾讯会议、腾讯文档、企业微信、腾讯广告和微信搜一搜等。同时来自零售、教育、金融、医疗、传媒、交通、政务等多个行业的客户也通过腾讯云调用腾讯混元 API,应用领域涉及智能问答、内容创作、数据分析、代码助手等多个场景。

    此次开放的文生图能力便是腾讯混元大模型带给我们的最大惊喜,展示其在图像自动生成领域的领先能力。当然,腾讯混元文生图也在逐渐进化中,后续会开发更多文生图相关以及图生图功能。我们可以狠狠期待一波了。

    目前,混元文生图能力已经嵌入到了腾讯广告场景中,比如生成商品广告或广告配图。在广告业务下的多轮测评中,腾讯混元文生图的案例优秀率和广告主采纳率分别达到 86% 和 26%,均高于同类模型。

    我们先来看下面这个示例,要求混元大模型生成一个酒店房间。从效果来看,升级后混元文生图效果明显更好,设计感、品质感提升很大,细节更加丰富。即使与 Midjourney 比较一番,效果也不相上下。
    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析
    人物类生成场景也有类似的效果。升级后混元生成的人像真实感更强,比如面部肤色、皱纹等细节。
    腾讯混元大模型再度升级,文生图能力震撼发布,全面实测解析
    广告场景之外,腾讯内部还在不断探索其他文生图的需求场景,比如游戏场景中生成游戏元素和游戏角色、内容场景中生成小说配图、插图,云业务场景中将混元能力开放给不同行业的客户。

    大浪淘沙,再强悍的模型,也要让更多人用上并持续获得反馈,才有可能百尺竿头更进一步。

    可以预见,未来腾讯产品中将迎来混元文生图能力的大爆发,用户也将体验更多 AIGC 带来的魅力。
    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    业界资讯
    相关文章 更多
    精品专题 更多
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    macOS软件

    正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

    IOS软件

    正软商城iOS软件专区,精选适用于iPhone和iPad的办公、学习、影音、设计、效率及AI应用,提供功能介绍、适用设备、系统要求和正版获取方式等信息。

    AI

    正软商城AI软件专区,汇集AI写作、AI绘画、AI视频、AI办公、AI编程、AI翻译、智能客服和数据分析等人工智能工具,提供功能介绍、适用平台、收费方式及正版购买信息。

    Mac软件 更多
    Postman macOS版
    Postman macOS版

    Postman是一套面向API全生命周期的开发与测试平台,可在Mac上发送和调试多种协议请求,管理集合、环境及认证信息,并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用,提供个人免费方案。

    Docker Desktop macOS版
    Docker Desktop macOS版

    Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境,集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。

    Android Studio macOS版
    Android Studio macOS版

    Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境,基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。

    Xcode macOS版
    Xcode macOS版

    Xcode 是苹果面向 Mac 提供的官方集成开发环境,将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中,适合开发与维护 iPhone、iPad、Mac、Apple Wa

    JetBrains WebStorm macOS版
    JetBrains WebStorm macOS版

    JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境,可智能理解项目结构,提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。

    PhpStorm macOS版
    PhpStorm macOS版

    PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境,可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。

    JetBrains PyCharm macOS版
    JetBrains PyCharm macOS版

    JetBrains PyCharm 是面向 Python 开发者的集成开发环境,提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片,核心功能可免费使用。

    JetBrains IntelliJ IDEA macOS版
    JetBrains IntelliJ IDEA macOS版

    IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境,重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具,并可借助插件扩展语言和框架支持。

    Visual Studio Code macOS版
    Visual Studio Code macOS版

    Visual Studio Code 是微软提供的免费代码编辑器,支持 macOS,并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。

    REAPER macOS版
    REAPER macOS版

    REAPER是Cockos开发的数字音频工作站,提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片,支持AU、VST、VST3、CLAP等插件格式,并提供高度可定制的工作流程。

    Adobe Audition macOS版
    Adobe Audition macOS版

    Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站,提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具,并可与 Adobe Premiere 协同完成视频声音制作。

    Pro Tools macOS版
    Pro Tools macOS版

    Pro Tools 是 Avid 推出的专业数字音频工作站,覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。

    WINDOWS 更多
    Postman Windows版
    Postman Windows版

    Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求,并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等

    Docker Desktop Windows版
    Docker Desktop Windows版

    Docker Desktop 为 Windows 开发者提供集成式容器环境,内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件,可在本机完成镜像构建、容器运行、日志查看和资源管理。

    Android Studio Windows版
    Android Studio Windows版

    Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境,以 IntelliJ IDEA 为基础,集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具,

    JetBrains WebStorm Windows版
    JetBrains WebStorm Windows版

    WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索,并集成调试、测试、终端、Git 与常用前端工具,

    JetBrains PhpStorm Windows版
    JetBrains PhpStorm Windows版

    PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境,提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序,

    JetBrains PyCharm Windows版
    JetBrains PyCharm Windows版

    PyCharm 是 JetBrains 推出的 Python 集成开发环境,提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能,

    JetBrains IntelliJ IDEA Windows版
    JetBrains IntelliJ IDEA Windows版

    JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境,提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目,

    Visual Studio Code Windows版
    Visual Studio Code Windows版

    Visual Studio Code 是微软推出的免费代码编辑器,Windows 版集成智能补全、代码导航、调试、终端和版本控制,并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活,

    REAPER Windows版
    REAPER Windows版

    REAPER 是 Cockos 推出的数字音频工作站,适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧,支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展,并提供完整功能的 60 天免费评估期。

    Adobe Audition Windows版
    Adobe Audition Windows版

    Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站,提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理,

    Pro Tools Windows版
    Pro Tools Windows版

    Pro Tools 是 Avid 推出的专业数字音频工作站,提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用,并提供免费入门版、订阅方案及永久授权选择。

    Cubase Windows版
    Cubase Windows版

    Cubase 是 Steinberg 推出的数字音频工作站,提供 MIDI 编曲、多轨录音、音频编辑、虚拟乐器、效果处理、自动化、混音和母带输出工具。其 Pro、Artist 与 Elements 版本面向不同预算和制作规模,