在语音识别领域,大模型的应用正在从短片段任务向长时音频理解延伸。微软近期开源的 VibeVoice-ASR 模型,便是这一趋势下的一个重要信号。这款参数量达 90 亿的统一模型,主打一个硬实力:一次性处理长达 60 分钟的连续语音流,并且在单次推理中直接输出带有说话人标签、精准时间戳和对应文本的结构化转录结果。更关键的是,它还支持用户灵活注入领域专属热词,对专业术语和上下文敏感词汇的识别精度有明显提升。
这一新模型最直观的价值,在于它如何回应长音频处理中的几个老问题:上下文断裂、说话人混淆、输出格式不清晰。VibeVoice-ASR 给出了一个端到端的系统性方案。
VibeVoice-ASR 的核心能力
- 原生支持最长 60 分钟的端到端音频处理。传统 ASR 模型处理长音频时,往往需要把音频切成数秒短片段,这种做法很容易导致上下文信息和说话人身份的断链。VibeVoice-ASR 原生适配最大 64K token 的音频序列,能完整覆盖一小时的语音,从而保障了跨时段说话人一致性建模和语义连贯性。简单说,它不需要“拼图”就能看完一整段话。
- 可配置的热词引导机制。这个功能很实用。用户可以通过简单的接口传入自定义热词列表,比如企业名称、产品型号、学术概念等。模型在解码阶段会动态强化这些相关词元的概率。在垂直场景下,比如医疗、法律、金融会议等,这一机制对识别精度的提升非常明显。
- 三位一体结构化输出(Who-When-What)。这是 VibeVoice-ASR 在输出维度上的亮点。它将语音识别、声纹区分与时间定位深度融合,同步完成说话人分离、起止时间标注与文本转写。最终输出的结果,清晰可解析,格式就是「谁 在 何时 说了什么」。对于后续的会议纪要生成、访谈整理、内容检索等应用来说,这种结构化的数据非常友好。
模型的整体架构如下:

开源地址
https://www.php.cn/link/c165343f46d5946c6f76c58a5ed0f52c
https://www.php.cn/link/4d0d3acf6bc4d8f28d53f73a2879dc3e