英伟达刚在 Hugging Face 开源了 Nemotron 3.5 Transcribe,顺带把训练它用的 Granary v2 数据管线也放了出来。
以前做音频处理很折腾,语音转文字、区分谁在说话、翻译和内容问答往往得串好几个模型,延迟高还容易出错。
英伟达这次直接用一个 30B 参数但每次只激活 4B 的混合架构底座全包了,单次最长能吃下一小时录音,支持 40 种语言和最多 8 个人同时插话的场景。
它可以直接用自然语言控制输出格式,比如让它保留口头禅或者直接整理成书面语,在开源语音榜和说话人识别榜上都拿到了第一,量化后甚至能塞进本地工作站跑。
除了模型本身,随附的 Granary v2 数据清洗流程其实更有实用价值。里面包含 48 种语言超过 46 万小时的标注清单,还给了一套现成的医疗领域微调方案,按这套路微调后专业术语的识别错误率直接砍掉近一半。
对于需要处理长会议录音或定制垂直行业语音识别的团队来说,这套开源组合拳省去了大量前期踩坑的成本。
显示更多