展开菜单
首页 精品内容 本月促销 装机必备 Windows macOS软件 IOS软件 Android AI PDF教程 专题
全部分类

当前位置:

首页 > 软件教程 > 腾讯大模型开源,Int4对标DeepSeek,谷歌2GB多模态惊艳登场

腾讯大模型开源,Int4对标DeepSeek,谷歌2GB多模态惊艳登场

图片大家好,我是专注AI学习的老章最近除了阿里Qwen3模型上线了图像生成与处理新功能,大家纷纷尝试吉卜力风格创作外,还有几款新发布的开源大模型值得关注:一是腾讯推出了80B规模的混元A13B模型,最大亮点是实现了近乎无损精度的int4量化,性能强劲二是谷歌发布了轻量级多模态模型Gemma3n,主打可在手机端运行,最低仅需2GB内存三是我发现了一个小众但实用的超长上下文模型Jan-nano-128k,仅2.5GB的Q4_K_M版本就支持128K上下文长度腾讯混

全新大模型开源,腾讯(int4能打DeepSeek) Vs 谷歌(2GB运行多模态)图片大家好,我是专注 AI 学习的老章

最近除了阿里 Qwen3 模型上线了图像生成与处理新功能,大家纷纷尝试吉卜力风格创作外,

还有几款新发布的开源大模型值得关注:

一是腾讯推出了 80B 规模的混元 A13B 模型,最大亮点是实现了近乎无损精度的 int4 量化,性能强劲
二是谷歌发布了轻量级多模态模型 Gemma 3n,主打可在手机端运行,最低仅需 2GB 内存
三是我发现了一个小众但实用的超长上下文模型 Jan-nano-128k,仅 2.5GB 的 Q4_K_M 版本就支持 128K 上下文长度

腾讯混元 A13B

官方技术报告已经写得非常详尽,有兴趣的朋友可以深入阅读[1]

试用地址:https://hunyuan.tencent.com/?model=hunyuan-a13b

全新大模型开源,腾讯(int4能打DeepSeek) Vs 谷歌(2GB运行多模态)图片核心优势一览

小模型,大能力:仅激活 130 亿参数(总参数达 800 亿),在多项基准测试中表现媲美更大规模模型
双模式推理:支持“快思考”与“慢思考”两种模式。默认为慢思考输出,若需快速响应,可在输入前加 /no_think
超长文本理解:原生支持 256K 上下文窗口,在处理长文档任务时性能稳定
强化 Agent 能力:在 BFCL-v3、τ-Bench、C3-Bench 等智能体评测中表现领先
高效推理机制:采用分组查询注意力(GQA),支持多种量化格式,显著提升推理效率

我参考的是魔搭社区上的中文解读版技术博客[2],总结出几个关键点:

  1. 腾讯同步开源了两个重要数据集:ArtifactsBench 用于弥补代码评估中的视觉与交互差距[3],而 C3-Bench 是专为智能体设计的评测集,帮助揭示模型短板并推动可解释性研究[4]

  2. A13B 在数学、科学推理及 Agent 场景下,可与 OpenAI-o1-1217、DeepSeek R1、Qwen3-A22B 正面较量

Agent

全新大模型开源,腾讯(int4能打DeepSeek) Vs 谷歌(2GB运行多模态)图片3. Hunyuan-A13B-Instruct-GPTQ-Int4 量化版本几乎与原版无差,堪称精度无损!

Bench Hunyuan-A13B-Instruct Hunyuan-A13B-Instruct-GPTQ-Int4
OlympiadBench 82.7 84.0
AIME 2024 87.3 86.7
Gsm8k 94.39 94.24
BBH 89.1 87.91
DROP 91.1 91.05

这意味着本地部署时,完全可以使用 int4 版本

完整模型约 160GB,int4 版本仅约 44GB,估计 4 张 4090 显卡即可流畅运行

全新大模型开源,腾讯(int4能打DeepSeek) Vs 谷歌(2GB运行多模态)https://modelscope.cn/models/Tencent-Hunyuan/Hunyuan-A13B-Instruct-GPTQ-Int4/https://modelscope.cn/models/Tencent-Hunyuan/Hunyuan-A13B-Instruct-GPTQ-Int4/

int4 版本部署命令如下:

# 下载模型:# ModelScope: modelscope download --model Tencent-Hunyuan/Hunyuan-A13B-Instruct-GPTQ-Int4# 拉取国内镜像:docker pull docker.cnb.cool/tencent/hunyuan/hunyuan-a13b:hunyuan-moe-A13B-vllm # 使用ModelScope下载的模型启动服务docker run  --privileged --user root  --net=host --ipc=host \        -v ~/.cache/modelscope:/root/.cache/modelscope \        --gpus=all -it --entrypoint python   docker.cnb.cool/tencent/hunyuan/hunyuan-a13b:hunyuan-moe-A13B-vllm \         -m vllm.entrypoints.openai.api_server --host 0.0.0.0 --tensor-parallel-size 4 \         --port 8000 --model /root/.cache/modelscope/hub/models/Tencent-Hunyuan/Hunyuan-A13B-Instruct-GPTQ-Int4/ --trust_remote_code

相比 DeepSeek-R1 较高的运行成本,这款 44GB 的 Hunyuan-A13B-Instruct-GPTQ-Int4 在数学、推理和 Agent 表现上值得进一步实测验证。

谷歌 Gemma 3n

谷歌 Gemma 家族再添新成员——面向端侧部署的轻量多模态模型 Gemma 3n

原生多模态支持:Gemma 3n 支持图像、音频、视频和文本输入,输出为文本结果
专为端侧优化:以高效运行为目标,提供 E2B 和 E4B 两种有效参数规模版本。虽然原始参数为 50 亿和 80 亿,但通过架构创新,实际内存占用相当于传统 20 亿和 40 亿参数模型,最低仅需 2GB(E2B)或 3GB(E4B)即可运行
架构创新亮点:包括 MatFormer 架构(增强计算灵活性)、逐层嵌入 PLE(提升内存效率)、LAuReL 与 AltUp(优化结构效率),以及专为移动端优化的新型音频编码器和基于 MobileNet-v5 的视觉编码器
综合性能出色:在多语言支持(覆盖 140 种文本语言和 35 种多模态语言理解)、数学、代码生成和逻辑推理方面均有显著提升。E4B 版本在 LMArena 基准测试中得分突破 1300,成为首个低于 100 亿参数却达到该水平的模型

全新大模型开源,腾讯(int4能打DeepSeek) Vs 谷歌(2GB运行多模态)图片最吸引人的点在于:极低成本即可实现端侧多模态推理

据网友实测反馈,Gemma 3n 的语音转写与翻译功能表现良好

但更值得关注的是其在移动端的实际运行表现

谷歌已将该模型上架安卓平台的 Edge Gallery 应用,结合其支持 GPU 卸载的特性,可能是目前最佳使用方式

不过有测试显示,在高通骁龙 6 代 4 核处理器(仅 CPU 运行)上每秒仅生成 4-5 个 token,响应较慢,实用性受限

目前建议持续关注,更多资源可自行查阅:

Hugging Face https://huggingface.co/collections/google/gemma-3n-685065323f5984ef315c93f4
Un

本文内容来源于互联网,如有侵权请联系删除。
作者最新文章
软件教程
相关文章 更多
精品专题 更多
本月促销

正软商城本月促销专区,汇集办公、设计、安全、影音、系统工具及AI软件等正版软件优惠活动,提供限时折扣、特价授权和优惠购买信息,活动库存及价格以页面实时展示为准。

装机必备

正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

Windows

正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

macOS软件

正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

IOS软件

正软商城iOS软件专区,精选适用于iPhone和iPad的办公、学习、影音、设计、效率及AI应用,提供功能介绍、适用设备、系统要求和正版获取方式等信息。

AI

正软商城AI软件专区,汇集AI写作、AI绘画、AI视频、AI办公、AI编程、AI翻译、智能客服和数据分析等人工智能工具,提供功能介绍、适用平台、收费方式及正版购买信息。

PDF教程

正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

Mac软件 更多
灵活计算器
灵活计算器

灵活计算器是一款笔记式算数应用,支持实时计算、动态关联和云端同步功能。记录、整理和输出之间的过渡会更自然,适合长期写作、做笔记或持续沉淀个人内容。

赤友清理大师
赤友清理大师

赤友清理大师是一款为 Mac 设计的智能清理优化工具,可精准扫描垃圾、大文件、重复文件等,释放磁盘空间。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

极度公式
极度公式

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

图几
图几

图几是一款适用于 macOS 的截图、标注与美化工具,支持离线操作保障隐私。界面整理和高频系统操作被放到一起考虑,桌面或窗口内容一多时,管理起来会更省心。

密码键盘
密码键盘

密码键盘是一款兼具安全性与便捷性的高效密码管理器。日常使用里的持续防护和信息管理会更突出,适合把安全控制放进长期使用流程中的场景。

思源笔记
思源笔记

思源笔记是一款本地笔记软件,提供所见即所得的编辑方式,为长文写作带来顺滑的体验。记录、整理和输出之间的过渡会更自然,适合长期写作、做笔记或持续沉淀个人内容。

Office 365 简体中文
Office 365 简体中文

一款文字处理软件,一种订阅式的跨平台办公软件,基于云平台提供多种服务,通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合,Office 365 可让任何人使用任何设备随时随地创建和共享内容。

WALTR PRO
WALTR PRO

WALTR是一款电脑至iOS文件传输转换工具,操作简单,快速实现文件识别与传送。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

CodeExpander
CodeExpander

CodeExpander 是一款快捷短语输入增强工具,通过键入缩写自动展开为自定义文段,提升工作效率。任务管理和过程控制会更完整,持续下载、批量同步或需要稳定传输流程的场景会更适合它。

Mountain Duck
Mountain Duck

Mountain Duck 是一款能将多个网盘挂载到本地的工具,像本地磁盘一样使用网盘。清理链路的完整性会更好一些,做应用卸载、残留处理和空间整理时,通常能少走很多手动排查步骤。

Menuist
Menuist

Menuist 是一款面向 macOS 的 Finder 右键菜单增强工具,主要用来补充新建文件、快捷导航等常用操作,让日常文件管理和访问路径时更高效、更顺手。

Mole
Mole

Mole 是一款专为 Mac 设计的深度清理优化工具,涵盖缓存清理、应用管理及实时状态监控等功能。清理链路的完整性会更好一些,做应用卸载、残留处理和空间整理时,通常能少走很多手动排查步骤。

WINDOWS 更多
Windows 10
Windows 10

Windows 10 是一款微软推出的经典操作系统,拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。

极度公式
极度公式

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

密码键盘
密码键盘

密码键盘是一款兼具安全性与便捷性的高效密码管理器。日常使用里的持续防护和信息管理会更突出,适合把安全控制放进长期使用流程中的场景。

思源笔记
思源笔记

思源笔记是一款本地笔记软件,提供所见即所得的编辑方式,为长文写作带来顺滑的体验。记录、整理和输出之间的过渡会更自然,适合长期写作、做笔记或持续沉淀个人内容。

傲梅轻松备份
傲梅轻松备份

傲梅轻松备份是一款专业易用的数据备份软件,为重要数据提供安全保障。日常使用里的持续防护和信息管理会更突出,适合把安全控制放进长期使用流程中的场景。

Office 365 简体中文
Office 365 简体中文

一款文字处理软件,一种订阅式的跨平台办公软件,基于云平台提供多种服务,通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合,Office 365 可让任何人使用任何设备随时随地创建和共享内容。

Wise Folder Hider Pro
Wise Folder Hider Pro

Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件,为私密数据添加多重保护。高频操作更强调就近处理,浏览、整理和跨目录移动文件时,来回切换和重复点击都会少很多。

WALTR PRO
WALTR PRO

WALTR是一款电脑至iOS文件传输转换工具,操作简单,快速实现文件识别与传送。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

CodeExpander
CodeExpander

CodeExpander 是一款快捷短语输入增强工具,通过键入缩写自动展开为自定义文段,提升工作效率。任务管理和过程控制会更完整,持续下载、批量同步或需要稳定传输流程的场景会更适合它。

PinStack
PinStack

PinStack是一款轻量级的Windows平台剪贴板管理工具,优化您的剪贴板使用体验。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。

Mountain Duck
Mountain Duck

Mountain Duck 是一款能将多个网盘挂载到本地的工具,像本地磁盘一样使用网盘。清理链路的完整性会更好一些,做应用卸载、残留处理和空间整理时,通常能少走很多手动排查步骤。

Seer
Seer

Seer是一款在Win平台下的空格键功能增强效率工具,只需轻敲空格键,就能预览几乎任何格式的文件。它更适合把零散的小功能集中起来使用,处理高频琐碎任务时会更省事。