arXiv cs.AI 发布于 09/04 12:00

DuplexSpeechBench-IFEval: Evaluating Implicit Instruction Following in Full-Duplex Voice Agents

(翻译)DuplexSpeechBench-IFEval:评估全双工语音智能体中的隐式指令遵循

查看原文

资讯摘要

Abstract page for arXiv paper 2609.03423: DuplexSpeechBench-IFEval: Evaluating Implicit Instruction Following in Full-Duplex Voice Agents

AI 摘要

论文提出DuplexSpeechBench-IFEval(DSB-IFEval),用于评估全双工语音智能体在实时口语交互中的隐式指令遵循能力。基准含1,038个测试用例,覆盖八种助手角色和五种指令条件,使用确定性IAS与LLM判定PAS评分。结果显示不同架构存在权衡:PersonaPlex等在全人格条件下遵循度明显下降;GPT-Realtime等在人格一致内容上表现较强,但对话行为不随显式或隐式指令自适应,安全冲突下难以覆盖预设指令。

AI 问答

DSB-IFEval是什么?

DSB-IFEval是一个评估全双工语音智能体隐式指令遵循能力的基准,包含1,038个测试用例,覆盖八种助手角色和五种指令条件。

该研究的主要发现是什么?

研究发现不同架构存在权衡:部分全双工模型在仅依靠人格推断行为时遵循度明显下降,另一些模型在人格一致内容上表现较强,但对话行为不随显式或隐式指令自适应,且在安全冲突下难以覆盖预设指令。

打开原文

更多资讯

亚太唯一!腾讯云首次入选IDC MarketScape 全球托管边缘服务领导者类别雷峰网 · 09/15 17:24CLARITY法案投票失败 加密监管立法再度搁浅金色财经 · 09/16 08:55现在参与以太坊原生质押为什么要先排队一个月?金色财经 · 09/16 21:24从担心AI失控 到AI造福人类:比尔盖茨怎么想金色财经 · 09/15 14:43基元律动与无问芯穹达成战略合作,推进高质量Token供给与应用雷峰网 · 09/16 16:20云连锁到轻连锁,品牌业务逻辑的改变人人都是产品经理 · 09/16 11:47以太坊 2026 年第二季度报告金色财经 · 09/15 17:06梁文锋CFO到位!投过智谱MiniMax量子位 · 09/15 21:53无效的管理者和疲惫的基层:浅论考核指标的漂移人人都是产品经理 · 09/16 15:06Dense vs. MoE Models: Active Parameters, Throughput, and When to Choose EachNVIDIA Technical Blog · 09/16 01:00实时互动、实时改视频、探索空间视频,Vidu S2一次放了三个大招量子位 · 09/16 10:58场景越多 ≠ 产品越好,:从抽象价值到真实生活的定义结构人人都是产品经理 · 09/15 11:58OpenAI 总裁:AGI 已经发生金色财经 · 09/15 22:25New insights from Google’s AI & Economy ATLASGoogle AI Blog · 09/15 21:00比 MEGA Home 便宜 14 万!理想 i9 Home 上市定价 36.98 万元,六座旗舰变天了爱范儿 / APPSO · 09/16 23:21Uniswap v4上的恶意Hooks金色财经 · 09/15 12:43Grayscale:比特币能否优化私募市场投资组合?金色财经 · 09/15 09:10超越代币化:让RWA在链上发挥实用价值金色财经 · 09/15 12:11西门子不造机器人,为什么机器人进厂的故事里总有它?量子位 · 09/16 15:38探秘柬埔寨,千年吴哥窟少数派 · 09/16 17:33担心代码被拿去训练!英伟达:限制员工使用 Claude;一汽将成广汽第二大股东!南北丰田拟合并;苹果回应「iPhone 18 Pro破发」雷峰网 · 09/15 08:23129亿美元卖身英伟达之后,是时候重新理解Hugging Face了InfoQ 中文 · 09/16 16:00从接住告警到自我进化:快手智能运维助手实践|QCon上海InfoQ 中文 · 09/16 18:00YC 最值钱的这 20家公司,没有一家来自最近5年人人都是产品经理 · 09/15 10:39GPT-6 Astra 之后,产品经理需要重新设计人在流程中的位置人人都是产品经理 · 09/16 09:108点1氪丨8月一线城市房价上涨;携程上架510万一张的太空旅行船票;字节跳动上半年净利润出现下滑,但海外收入占比再创新高36氪 · 09/16 08:01上市前交易市场:永续合约化的Pre-IPO资产金色财经 · 09/16 09:21被用了几千年的铜,怎么突然成了AI时代的新宠?果壳网 · 09/16 16:15华为坤灵升级“4+10+N”场景化方案,发布“经纬计划”和50个样板点雷峰网 · 09/16 17:27谁在给我们制造 AI 焦虑金色财经 · 09/15 20:38