什么是一致性差距？
一致性差距指 Mean@k 与 Pass^k 之间的差值，用于衡量 Agent 能否在多次重复运行中稳定成功，而不仅是平均成功率。
Your Agent Aced the Task. Will It Do It Again?
（翻译）你的 Agent 出色完成了任务。它还能再次做到吗？
资讯摘要
A Blog post by IBM Research on Hugging Face
AI 摘要
IBM Research 在 Hugging Face 博客介绍 ALTK-Evolve 新增一致性指南与 Consistency Analyzer，用于衡量并改善 LLM Agent 在重复运行中的可靠性。GPT-4.1 ReAct Agent 在 AppWorld test_normal 上 Mean@5 为 77.4%，但 Pass^5 仅 53.0%，一致性差距达 24.4 个百分点；加入一致性指南后 Pass^5 升至 69.0%，差距降至 12.0 个百分点，平均准确率未下降。方法通过对已记录决策点重采样检测易翻转步骤，无需真实标签或端到端重放。
AI 问答
Consistency Analyzer 如何发现容易翻转的决策点？
它对一条已记录轨迹中的每个决策步骤进行受控重采样，默认一次请求 k=5 个补全，并在已记录上下文上重放，无需真实标签或重新执行任务。
一致性指南带来了什么效果？
在 AppWorld test_normal 上，GPT-4.1 ReAct Agent 的 Pass^5 从 53.0% 升至 69.0%，一致性差距从 24.4 个百分点降至 12.0 个百分点，同时 Mean@5 没有下降。
更多资讯
B站AI无限竞技场今日上线！全球百大AI模型同场竞技，GPT-6高居榜首Firefox 156 释出
被AI放大的光学「戏份」，让「配角」舜宇的生意越做越大旗舰SoC进入融合计算时代，天玑9600 Pro首创AI原生架构！算力、机器人、仿真与资本，谁在定义物理AI下一个十年？｜第十届全球ICT峰会回顾
黄仁勋再谈AI危险论：中国会成为全球开源重要力量
Building AI to accelerate science and improve lives
清晰法案投票失败 后续还有机会吗？
字节将发布独立智能网盘“ADrive”，腾讯网盘先已布局，网盘AI大战打响
派早报：豆包发布手机助手消费者版，绿联发布首款雷电 5 显卡坞等
关于项目交付的思考：部署是最后两公里，验收才是最后一公里
OpenAI万亿IPO推迟背后 四本账与三条投资路径
超越代币化：让RWA在链上真正有用
当黄仁勋和Dario遇上休谟：火鸡、台球与AI末日论
旧消费品，正长出新生意
从担心AI失控 到AI造福人类：比尔盖茨怎么想
CLARITY的失败 跟加密行业好坏没啥关系
个贷不良四年涨 23 倍：这门从“救大行”长出来的生意，底层逻辑是什么？
当罗永浩站在群众的对立面实时互动、实时改视频、探索空间视频，Vidu S2一次放了三个大招廉价太阳能改变世界能源格局
让AI真正赋能企业（初探）
推特创始人谈“AI减速”论：前沿不属于任何一家公司华为GTS让Agent学会「看着网络排障」，双防火墙难题几乎全拿下企业案例分享：坤煜量子｜36氪2026产业未来大会英国殖民之前的澳大利亚原居民人口约 222 万
微信桌面端变“三折叠”，可能是在给小微腾位置地平线第1500万颗征程芯片搭载大众 ID. AURA T6，HSD V2.1 即将推出
“极端”空头压境 美联储周三不加息就是最大意外9月21日，深圳前海！聊聊工业AI与生态共创的下一步
被AI放大的光学「戏份」，让「配角」舜宇的生意越做越大旗舰SoC进入融合计算时代，天玑9600 Pro首创AI原生架构！算力、机器人、仿真与资本，谁在定义物理AI下一个十年？｜第十届全球ICT峰会回顾黄仁勋再谈AI危险论：中国会成为全球开源重要力量Building AI to accelerate science and improve lives清晰法案投票失败 后续还有机会吗？字节将发布独立智能网盘“ADrive”，腾讯网盘先已布局，网盘AI大战打响派早报：豆包发布手机助手消费者版，绿联发布首款雷电 5 显卡坞等关于项目交付的思考：部署是最后两公里，验收才是最后一公里OpenAI万亿IPO推迟背后 四本账与三条投资路径超越代币化：让RWA在链上真正有用当黄仁勋和Dario遇上休谟：火鸡、台球与AI末日论旧消费品，正长出新生意从担心AI失控 到AI造福人类：比尔盖茨怎么想CLARITY的失败 跟加密行业好坏没啥关系个贷不良四年涨 23 倍：这门从“救大行”长出来的生意，底层逻辑是什么？当罗永浩站在群众的对立面实时互动、实时改视频、探索空间视频，Vidu S2一次放了三个大招廉价太阳能改变世界能源格局让AI真正赋能企业（初探）推特创始人谈“AI减速”论：前沿不属于任何一家公司华为GTS让Agent学会「看着网络排障」，双防火墙难题几乎全拿下企业案例分享：坤煜量子｜36氪2026产业未来大会英国殖民之前的澳大利亚原居民人口约 222 万微信桌面端变“三折叠”，可能是在给小微腾位置地平线第1500万颗征程芯片搭载大众 ID. AURA T6，HSD V2.1 即将推出“极端”空头压境 美联储周三不加息就是最大意外9月21日，深圳前海！聊聊工业AI与生态共创的下一步