InfoQ 中文 发布于 09/13 18:00

Read, Don't Write: 重塑大模型评价体系,构建全自动、可进化的“探测式”评测管线|QCon上海

查看原文

资讯摘要

点击查看原文>

AI 摘要

文章介绍阿里巴巴高级技术专家孙鹏将在 QCon 上海 2026 分享的 BoRP 评测方案。该方案提出“Read, Don't Write”范式,不再让模型生成评语,而是通过对比表示与 PLS 回归读取隐状态满意度信号,将评测成本降低约 97%,并支持无标注流量自动生成评测标准,已在万亿级流量 A/B 测试中落地。

AI 问答

BoRP 评测管线与传统生成式 LLM-as-a-Judge 相比有何优势?

传统生成式 Judge 面临成本、延迟和系统性偏置三大问题。BoRP 不依赖模型生成评语,而是读取模型隐状态下的满意度信号,通过对比表示和 PLS 回归大幅降低成本,同时提升人类对齐度。

如何从无标注流量中自动孵化评测标准?

通过自引导 Bootstrapping 与极化挖掘,在无标注流量中自动生成评测标准(Rubric),仅需数百条标注即可实现 Krippendorff’s alpha 0.80 的高信度专家对齐。

该方案在工业级 A/B 测试中有哪些落地优化?

利用 KV-Cache 复用与前缀共享支撑单卡 A100 日处理百万级会话;同时利用中间层与输出层差异作为认知冲突代理,对异常预测进行不确定性预警和过滤。

打开原文

更多资讯

基元律动与无问芯穹达成战略合作,推进高质量Token供给与应用雷峰网 · 09/16 16:20英伟达带动AI数据中心大变革,中国厂商不想当边缘人36氪 · 09/16 14:22Meta 打造“组织第二大脑”智能体的设计思路InfoQ 中文 · 09/15 19:21一张GPU跑10万原子!分子之心用AI把化学反应“拍”成了电影量子位 · 09/15 17:58企业案例分享:坤煜量子|36氪2026产业未来大会36氪 · 09/15 16:54我的“一人公司”,是怎么搞钱的?人人都是产品经理 · 09/15 08:56手机替我跑了一整套流程!我就说了一句话,AI执行了100步量子位 · 09/15 20:47微软 CEO 纳德拉:AI 应用的机会正在变大,模型成本将继续下降人人都是产品经理 · 09/16 11:48香港第一、全球第八:OSL进化背后的数字资产新格局金色财经 · 09/16 21:42当年救了臭氧层的功臣,现在变成了永久性污染物果壳网 · 09/16 13:15项目汇报怎么讲,才能让领导看见你的价值?人人都是产品经理 · 09/16 11:32高通技术公司携手中兴努比亚和豆包手机助手,共同推动智能手机迈入个人AI新时代量子位 · 09/16 16:18WorkBuddy + 美图设计室,在对话框里就能解决办公设计任务?人人都是产品经理 · 09/15 08:57HTTP 新增 QUERY 方法:有人叫好,也有人质疑“这不就是 GET?”InfoQ 中文 · 09/15 21:00场景越多 ≠ 产品越好,:从抽象价值到真实生活的定义结构人人都是产品经理 · 09/15 11:58美团发布“手艺人Agent”,发型师可“吩咐”AI小帮手打理线上作品雷峰网 · 09/15 23:07“极端”空头压境 美联储周三不加息就是最大意外金色财经 · 09/16 08:22企业案例分享:玉盘量智-离子阱量子计算芯片化集成工程实践 | 36氪 2026产业未来大会36氪 · 09/15 18:33算力、机器人、仿真与资本,谁在定义物理AI下一个十年?|第十届全球ICT峰会回顾36氪 · 09/15 17:47Ctenophores Aren’t Just Beautiful. They’re Biological Wonders.Quanta Magazine · 09/16 23:56现在参与以太坊原生质押为什么要先排队一个月?金色财经 · 09/16 21:24稳定币挤兑与套利集中化金色财经 · 09/16 18:542nm天玑9600 Pro,把旗舰SoC竞争推向「融合计算」雷峰网 · 09/16 18:02Mozilla 报告称中国开放权重模型与美国前沿模型仅相差 4.4 个月Solidot · 09/16 18:30AI 产品经理怎么入行?岗位方向、核心能力与转型路径一次讲清人人都是产品经理 · 09/15 08:54AI没有泡沫 只有割裂金色财经 · 09/15 21:38“阿宝”交新朋友:携手比亚迪“迪迪虾”,实现车机端一句话办事雷峰网 · 09/15 16:45从 Trace 到规模化实时评估:面向生产流量的 Agent 可观测实践|QCon上海InfoQ 中文 · 09/15 18:08清华稳准智能联合发布LimiX-2,结构化数据基础模型登顶国际评测榜单雷峰网 · 09/16 16:05协同办公进入Agent时代,飞书+豆包工作跑在了最前面量子位 · 09/16 15:46