
一小时录音、40 种语言:NVIDIA 的语音大模型连谁在说话都标出来
NVIDIA 发布 Nemotron-3.5-Transcribe 语音大模型:34B 参数只激活 4.3B,一小时录音一次转写,说话人标签、词级时间戳、翻译与音频问答全部用一条指令切换,覆盖 40 种语言。
相关标签
转写的老问题:字对了,人错了
把一场一小时的会议录音变成逐字稿,技术上早就不难。难的是后面那串追问:这句话是谁说的?几分几秒?刚才那个数字念的是”一万二”还是”1020”?传统做法要串三四个模型——ASR 转写、说话人分离、时间戳对齐,再写一层规则把标签对回去,任何一环出错,整份稿子都要人工重听。
NVIDIA 这次把这几件事塞进了同一个模型。Nemotron-3.5-Transcribe-30B-A4B 是一个”语音增强语言模型”(SALM):输入是 16 kHz 单声道音频加一段自然语言指令,输出是文本。指令换成什么,输出就跟着变——要逐字稿就给它”保留口头语和重复”的提示,要可读文本就让它”去掉语气词、保留原话”,要区分说话人就让它在正文里插入 <spk:0>、<spk:1> 标签,配合 vLLM 的时间戳中间件还能拿到每个词的起止秒数和说话人分段。
换句话说,它把”转写风格”从模型能力变成了 prompt 参数。
34B 的参数,只用 4.3B
架构上这是一个拼装体:Mamba-2 与 Transformer 混合的 MoE 语言骨干(基座是 Nemotron-3.5 Lightning 30B-A3B),前面挂一个并行专家编码器——Transformer ASR 编码器负责听清,约 99M 参数的 Sortformer 说话人编码器负责分辨谁在说;两条分支的输出经投影后与文本提示一起送进语言模型,再用一个 CTC 时间戳对齐头补上词级时间。总参数 34B,实际激活约 4.3B(含约 800M 音频编码器)。
这个尺寸让它在单张 H100 80GB 上就能起服务。官方给出的并发能力是:NVFP4 精度配合 DFlash2 草稿模型做投机解码时,一块 RTX PRO 6000 Blackwell 每秒能处理 2,238 秒音频,30 秒的录音 0.13 秒返回结果。需要说明的是,这套服务端优化还没进开源版,随 NeMo Speech 当天发布的 vLLM 集成大约慢一倍,定位是模型开发而非生产服务。
准确率方面,几个关键数字都压在开放权重模型的前面:英文 ASR 在 Open ASR Leaderboard 九个公开集上平均 WER 4.71(Qwen3-ASR-1.7B 是 4.94),长音频 10.98(Parakeet-TDT-0.6B-v3 是 13.37),七语种多语 4.62(6.49)。最能体现”一个模型干完一条流水线”的是多说话人场景:AMI、CALLHOME、Mixer 6、NOTSOFAR-1 四套全量会议的平均 cpWER 15.80,而用 DiCoW v3.3 加 DiariZen 两个专用模型拼出来的组合是 16.83——单模型打赢了专职组合。
谁会用它
按模型卡的定位,目标用户是搭语音接口、转写与翻译工具、会议与媒体处理、客服分析、音频理解应用的开发者。它支持 40 种语言,中文普通话在列(转写与翻译标为 Supported 级别,英法等 13 种标为 Leading);原生上下文 65,536 token,训练时的录音时长上限就是一小时。
要上手需要 vLLM 0.32.0 加 NeMo Speech 主分支,权重有 BF16、FP8、NVFP4 三种精度可选,许可为 OpenMDW-1.1,可商用。也支持用 Transformers 在进程内直接跑,代价是慢一些。
有两个边界值得提前知道。第一,这是离线模型,内部会把音频切成 30 秒特征块,但那是处理方式,不是流式能力——它做不了实时字幕服务。第二,音频理解、推理和口语指令遵循只在英文上评测过,其他语言不一定可靠。另外它还带一点 PII 标注与脱敏的训练任务,对需要给录音脱敏的团队算个顺手的附加项。
对做会议记录产品的人来说,真正的价值不在 WER 那几个小数点上,而在于把”谁在什么时候说了什么”变成一次推理就能拿到的结构化输出——省掉的是流水线之间互相甩锅的那部分工程量。
模型地址:https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B
更多资讯
想看更多优质内容?
浏览所有资讯