10月28日,英伟达正式发布开源权重语音模型Nemotron 3.5 Transcribe。该模型支持40种语言的音频转录、语音翻译及说话人识别,开发者无需重新训练,即可通过自然语言指令控制转录格式。

Nemotron 3.5 Transcribe结合了Transformer语音编码器、说话人分离模型及英伟达Nemotron 3.5 Lightning语言模型,拥有约43亿个活跃参数,检查点版本标识为30B-A4B。模型支持逐字转录、清洗文本、领域术语及语码转换,可处理长达一小时的录音,并生成带说话人归属的单词级时间戳。英伟达指出,具体能力表现因语言和任务而异。

性能表现与推理速度

在英语开放自动语音识别(ASR)排行榜上,该模型在9个公共测试集的平均词错误率(WER)为4.71%;在涵盖7种语言的多语言开放ASR排行榜上,平均WER为4.62%。英伟达称,这是目前两个排行榜上表现最佳的开源权重模型。

此外,当输入预期实体列表时,模型在ContextASR-Bench基准测试中的命名实体错误率降低六倍,显著提升人名和专业术语的转录准确性。

推理方面,基于NVFP4检查点、DFlash2推测解码及专用推理软件,单张RTX PRO 6000 Blackwell GPU的吞吐量可达每秒处理2,238秒音频。但英伟达强调,这些优化尚未包含在本次开源发布中,发布日的vLLM实现速度预计仅为优化设置的一半左右,实际性能取决于硬件、配置和工作负载。

开源许可与微调

英伟达已发布BF16、FP8和NVFP4格式的检查点,以及用于NeMo-Speech.cpp的GGUF文件。模型采用OpenMDW-1.1许可协议,并通过NeMo Speech提供微调工具包。技术报告显示,开发者可将模型适配至新语言、领域和任务,通常每个任务的适配耗时在0.5至2.3个GPU小时之间。