IBM 更新 Granite Speech 语音模型:会议与多人通话转写更准,长音频错误率降 24%
IBM 发布 granite-speech-5.0-2b,并更新 Turbo CTC 与 4.1 2B Plus 两款模型,覆盖高精度多语种转写翻译、端侧极速转写,以及会议和多人通话中的说话人标注。
IBM Granite 团队 10 月 21 日在 Hugging Face 博客发布了 Granite Speech 语音模型系列的三项更新:新模型 granite-speech-5.0-2b,以及社区已在使用的 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus 两款模型的修订版。IBM 的定位是覆盖企业语音工作的完整范围:高精度的转写与翻译、边缘端的极速转写,以及“谁在什么时候说了什么”同样重要的会议录音。
三款模型分工如下:
| 模型 | 状态 | 适用场景 |
|---|---|---|
| granite-speech-5.0-2b | 新发布 | 高精度多语种转写与翻译、关键词偏置 |
| granite-speech-5.0-470m-turboctc | 更新 | 高吞吐、端侧转写 |
| granite-speech-4.1-2b-plus | 更新 | 会议、通话等多说话人录音 |
granite-speech-5.0-2b 是 4.1 2B 的继任者,参数规模相同,可转写英语、法语、德语、西班牙语、葡萄牙语和日语,并支持这些语言与英语之间的互译,另外支持英译意大利语和中文。它基于 39 万小时公开音频训练,并加入了针对日语识别、关键词偏置和翻译构建的合成数据。新版本对噪声、混响和远场麦克风语音更稳健,可以在提示词里指定输入语言,关键词列表最多支持 2000 个词条,用于让产品名、人名和缩写被正确识别。IBM 称,按其非官方统计,该模型在 Open ASR 排行榜英语短音频测试集上的平均词错误率为 5.06%,在开放权重模型中排第二(截至 10 月 15 日)。
Turbo CTC 8 月推出时只支持英语,此次修订保持 4.7 亿参数规模,新增英、日、西、德、法、意、葡七种语言转写,原生输出标点和大小写,并更适应回声较重的会议室。速度方面,它在 Open ASR 排行榜上达到 19,870 RTFx,发布时约为 12,600 RTFx,约快 1.6 倍,精度水平不变。
对办公协作最直接相关的是 granite-speech-4.1-2b-plus。它面向企业真实拥有的录音:会议、客服通话和多人长时间访谈。由于架构、提示格式和 API 均未变化,可以直接替换现有模型。
按 IBM 公布的数据,更新后的模型长音频词错误率下降 24%,使用 20 个词条的关键词列表时偏置词错误下降 45%,说话人标注相关的 WDER 和 cpWER 各下降 7%,平均时间戳偏移从 210.86 降至 98.54,缩减一半以上。时间戳更准,意味着会议纪要检索、字幕和回看定位更可靠。
三款模型均以 Apache 2.0 许可发布,原生支持 Transformers。IBM 建议在生产部署中搭配 Granite Guardian 做额外的风险检测。需要注意的是,上述指标均为 IBM 自行公布的评测结果,实际效果仍取决于企业自己的录音质量、语种和专业术语。