arXiv cs.AI 发布于 08/28 12:00

Refusal Is Not Robustness: Auditing Confident Fabrication in Large Language Models on a Provably Uninformative Clinical Pain Speech Transcript

(翻译)拒绝并非稳健性:在可证明无信息的临床疼痛语音转录中审计大语言模型的自信捏造

查看原文

资讯摘要

Abstract page for arXiv paper 2608.26167: Refusal Is Not Robustness: Auditing Confident Fabrication in Large Language Models on a Provably Uninformative Clinical Pain Speech Transcript

AI 摘要

该研究利用TAME疼痛语音语料库,评估了七种大语言模型在无疼痛信息的语音转录中的表现。结果显示,在无信号条件下,基于转录的疼痛预测接近随机水平,但部分模型在权威框架提示下会自信地捏造疼痛评分。Gemini 2.5 Flash和Llama 3.1 8B的自信捏造率分别达0.53和0.76,而其他模型不超过0.15。研究强调拒绝不等于稳健性,模型行为受提示框架显著影响。

AI 问答

这项研究的主要发现是什么?

研究发现,在无法从转录中推断疼痛信息的情况下,部分大语言模型在权威提示下会自信地捏造疼痛评分,其中Gemini 2.5 Flash和Llama 3.1 8B的自信捏造率较高,而多数模型在合作提示下能正确弃权。

为什么说这些模型的拒绝行为不是稳健性?

因为模型的弃权行为依赖于提示措辞,在权威框架下同一模型的弃权率可从0.18变化到1.00,表明拒绝并非内在稳健,而是可以被提示操控。

打开原文

更多资讯

AI 减速还是不减速:一场周末点燃的行业与政府对垒金色财经 · 09/15 12:06vivo Buds Clip 体验:42 小时续航的无感佩戴,音质好也舒服爱范儿 / APPSO · 09/16 13:55金色Web3.0日报 | 黄仁勋批驳「AI末日论」金色财经 · 09/15 21:48场景越多 ≠ 产品越好,:从抽象价值到真实生活的定义结构人人都是产品经理 · 09/15 11:58HTTP 新增 QUERY 方法:有人叫好,也有人质疑“这不就是 GET?”InfoQ 中文 · 09/15 21:00AI不会放缓金色财经 · 09/15 10:33担心代码被拿去训练!英伟达:限制员工使用 Claude;一汽将成广汽第二大股东!南北丰田拟合并;苹果回应「iPhone 18 Pro破发」雷峰网 · 09/15 08:2336氪项目新势榜:不看包装,只看项目真实进展36氪 · 09/15 19:18和Jeff Dean押注同一方向,27岁清华助理教授创业,两个月融资数亿36氪 · 09/16 15:58穿透查询怎样升级为穿透管控?人人都是产品经理 · 09/15 14:249月21日,深圳前海!聊聊工业AI与生态共创的下一步量子位 · 09/15 13:20分析师:四大关键因素驱动 Robinhood 链快速增长金色财经 · 09/15 17:27理想落幕:加密行业为何集体走向同质化?金色财经 · 09/15 18:31地平线第1500万颗征程芯片搭载大众 ID. AURA T6,HSD V2.1 即将推出量子位 · 09/15 21:32NVIDIA中国开发者日定档10月苏州,现场设认证考试与黑客松决赛Solidot · 09/15 14:44派早报:Steam Frame 开启预购、WPS 多端支持 Markdown 等少数派 · 09/16 08:397名博士生仅用3个月从零训练7B大模型:代码+数据+训练日志全公开量子位 · 09/15 10:17从前沿技术到产业资本,2026产业未来大会看见「深水之上」36氪 · 09/15 15:04企业案例分享:伊辛智能|36氪2026产业未来大会36氪 · 09/15 16:38当AI能解千禧难题,再次证明答案不再是门槛人人都是产品经理 · 09/15 09:44科学家演示水下太阳能电池Solidot · 09/15 15:30香港第一、全球第八:OSL进化背后的数字资产新格局金色财经 · 09/16 21:42AI风口之下,明星们又想“挤上”牌桌了人人都是产品经理 · 09/15 09:15这种国民鱼一直被低估、被当廉价鱼!现在才知道钙和 DHA 这么多!快试试果壳网 · 09/15 22:15GPT Image 2.5 对比实测:变化与局限人人都是产品经理 · 09/15 09:46OpenAI 发布适用于编程和计算机应用的 GPT-6 AstraInfoQ 中文 · 09/16 00:52黄仁勋正演讲遇特朗普突然来电:通话全程直播金色财经 · 09/15 21:33Agent开始调用基础设施,Kubernetes准备好了吗?InfoQ 中文 · 09/16 04:38圆桌:探路·产业分工的新图谱,看到新未来——国家力量如何转化为产业价值 | 36氪 2026产业未来大会36氪 · 09/15 17:3958秒出杯,能拉花的咖啡机器人,在全球70国卖出600万杯36氪 · 09/15 10:21