Hugging Face Blog 发布于 08/21 08:00

Measuring benchmark optimization in speech recognition

(翻译)衡量语音识别中的基准优化

查看原文

资讯摘要

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

AI 摘要

本文研究了语音识别模型在公开基准测试中的“基准优化”现象。研究者发现,多个高分开源ASR模型会复现VoxPopuli和LibriSpeech等基准中的错误转录,甚至在音频与转录矛盾或数字被静音时仍输出基准参考答案,导致其分数高估了真实世界中的转写能力。文章通过三项测试量化了这一行为,并指出模型可能利用声学线索识别基准归属,建议使用保留测试集更接近实际场景的评估方法。

AI 问答

什么是基准优化?

基准优化指模型通过在公开基准测试上学习特定模式而非真正提升底层能力来提高分数。本文研究了语音识别模型中的这一现象。

研究发现了什么?

研究者测试了11个开源ASR模型,发现多个高分模型会复现VoxPopuli和LibriSpeech基准中的错误转录,甚至在音频与转录矛盾或相关数字被静音时仍输出基准答案。

如何应对基准优化问题?

本文建议使用保留测试集和更贴近真实场景的评估方式,如Real World VoiceEQ、Open-ASR Leaderboard和Far-field ASR Leaderboard,以衡量更多实际应用中的表现。

打开原文

更多资讯

产品经理的体面,是一块不能失守的 “括约肌”人人都是产品经理 · 09/15 16:09HTTP 新增 QUERY 方法:有人叫好,也有人质疑“这不就是 GET?”InfoQ 中文 · 09/15 21:00自主团队被捧过头了?Simon Rohrer 直言:你们交付的根本不是产品InfoQ 中文 · 09/16 21:237名博士生仅用3个月从零训练7B大模型:代码+数据+训练日志全公开量子位 · 09/15 10:17微信桌面端变“三折叠”,可能是在给小微腾位置人人都是产品经理 · 09/15 09:46一边喊停一边敲钟:硅谷AI巨头到底在怕什么金色财经 · 09/16 10:53做了两年AI落地,我总结了这7点思考人人都是产品经理 · 09/16 11:04奇安信斩获国家信息安全漏洞库CNNVD两项重磅荣誉雷峰网 · 09/16 10:36一款在浏览器里运行、部署在自己服务器上的 SQL 客户端Solidot · 09/15 16:43CoinEx宣布体面关停:值得肯定但不该神化金色财经 · 09/16 22:20梁文锋CFO到位!投过智谱MiniMax量子位 · 09/15 21:53破局产品同质化:长期主义的产品突围之路人人都是产品经理 · 09/16 14:12云连锁到轻连锁,品牌业务逻辑的改变人人都是产品经理 · 09/16 11:47圆桌:生长·资方投资的新方程——穿越周期的耐心与价值 | 36氪 2026产业未来大会36氪 · 09/15 17:06Robinhood的财富效应金色财经 · 09/16 12:47WorkBuddy + 美图设计室,在对话框里就能解决办公设计任务?人人都是产品经理 · 09/15 08:57差 11 票:币圈和华盛顿的蜜月期结束了金色财经 · 09/16 17:20从200亿收购失败到650亿IPO:Figma如何用“协作”颠覆设计帝国人人都是产品经理 · 09/16 11:3036氪项目新势榜:不看包装,只看项目真实进展36氪 · 09/15 19:18Anew Labs已完成 2.9 亿美元融资,红杉中国、高瓴、IDG、五源、高榕等参与雷峰网 · 09/16 14:28CLARITY法案未通过程序性表决 OpenAI拟IPO前融资金色财经 · 09/16 07:53QQ 飞车 Agentic 研发转型过程中的Loop EngineeringInfoQ 中文 · 09/16 01:24华为坤灵升级“4+10+N”场景化方案,发布“经纬计划”和50个样板点雷峰网 · 09/16 17:27黄仁勋正演讲遇特朗普突然来电:通话全程直播金色财经 · 09/15 21:33从入门到精通,一篇文章带你入门产品经理!(2026 年最新版)人人都是产品经理 · 09/16 08:53圆桌:中国之光成为新共识| 36氪 2026产业未来大会36氪 · 09/15 17:15How NVIDIA NVLink 6 Delivers Multi-Layer Resiliency for AI FactoriesNVIDIA Technical Blog · 09/16 00:55找不到小红书爆文选题?去淘宝差评区抄!人人都是产品经理 · 09/15 11:29Agent开始调用基础设施,Kubernetes准备好了吗?InfoQ 中文 · 09/16 04:38OpenAI 总裁:AGI 已经发生金色财经 · 09/15 22:25