
英伟达正式发布Nemotron 3.5 Transcribe,这是一款免费的开源AI模型,专为录制音频处理设计,而非实时转录。该模型支持40种语言的语音转文本,并能实现其中31种语言与英语的双向互译。此外,它还具备发言人身份标注功能,可在长达一小时的录音中区分多达八位不同的说话人,并回答关于录音内容的问题。
在技术架构上,Nemotron 3.5 Transcribe拥有340亿参数,但通过稀疏激活机制,每一步推理仅调用约40亿参数,从而兼顾运行速度与低成本。该模型适配性广泛,既可在小型Jetson开发板上运行,也能部署于数据中心GPU,且其许可证允许商业使用。英伟达表示,该模型在Hugging Face英文语音识别排行榜上位列开源模型之首,平均词错误率仅为5.33%。
开发者可通过自然语言提示词灵活控制输出格式,例如生成整洁版或逐字版转录稿,或指定重点识别医疗、产品等领域的专业术语。为展示微调潜力,英伟达使用印度医生的医疗语音数据对模型进行了训练,耗时约14小时(单块GPU),使预留测试片段上的错误率降低了45.8%。
与此同时,英伟达还发布了免费数据集Granary v2。该数据集涵盖48种语言,总计463,062小时语音数据,较首版的25种语言有显著扩充。开发者需依据各自来源的许可协议下载原始音频。相比之下,竞争对手如SpaceX AI的Grok转录服务则采取收费模式,每小时费用为10美分。
此次发布进一步丰富了英伟达的开源模型家族。此前,该公司已于今年4月推出Nemotron 3 Nano Omni,并于8月发布Nemotron 3.5 Lightning,后者为新模型的语言能力提供了底层支撑。