arXiv cs.AI 发布于 09/04 12:00

GPS-Bench: A Governance Policy Benchmark for Automating Policy Analysis

(翻译)GPS-Bench:一个用于自动化政策分析的治理政策基准

查看原文

资讯摘要

Abstract page for arXiv paper 2609.03553: GPS-Bench: A Governance Policy Benchmark for Automating Policy Analysis

AI 摘要

论文提出GPS-Bench,一个基于证据的治理政策模拟基准。它利用立法记录、游说披露、监管文件、公司财报等公共证据,将政策与相关行动者、行动和下游影响联系起来,并通过人工标注(Gold)与另一LLM标注(Silver)区分评测与训练数据。研究对比多种推理模式,发现基于真实记录微调的模型在行动者层面预测最强,分解方法虽未提升预测但提供机制解释。

AI 问答

GPS-Bench中的Gold集和Silver集有什么区别?

Gold集由人工根据真实记录标注,用于模型评测;Silver集由另一个LLM从检索证据中标注,仅作为监督信号用于训练,不作为测试标签。

研究的主要结论是什么?

在真实治理记录上微调模型在行动者层面的影响预测上表现最强,多智能体分解方法未能在预测精度上超越微调,但可提供机制解释,例如联盟如何形成。

打开原文

更多资讯

找不到小红书爆文选题?去淘宝差评区抄!人人都是产品经理 · 09/15 11:29黄仁勋再谈AI危险论:中国会成为全球开源重要力量金色财经 · 09/16 17:23企业案例分享:坤煜量子|36氪2026产业未来大会36氪 · 09/15 16:54苹果Siri AI上线;豆包手机助手消费版正式发布;塔克拉玛干沙漠发现两处大型地下水水源果壳网 · 09/15 20:15耐克和lululemon双双失速,运动品牌进入碎片化时代人人都是产品经理 · 09/15 11:40DeepSeek-V4.1-Flash 的最佳 Harness 搭档,我觉得可能是 Claude Code人人都是产品经理 · 09/16 17:23高性能电动船艇动力系统公司获近亿A轮融资,海外收入增长450%丨36氪首发36氪 · 09/16 09:30HIP-3:昂贵的入场券 买不来的护城河金色财经 · 09/15 09:48圆桌:量智共振·多元路径:共筑中国量子产业下一个十年 | 36氪 2026产业未来大会36氪 · 09/15 15:35贝森特回购落空与通胀重压 美联储加息或全面开启金色财经 · 09/15 11:068点1氪丨选手赛中失禁污染赛道,HYROX中国宣布整改;机构预计美股明年将暴跌21%;苹果推出Siri人工智能36氪 · 09/15 08:03CoinEx宣布体面关停:值得肯定但不该神化金色财经 · 09/16 22:20想把喜欢的故事做成动画?我用 AIXTV 把《聊斋》做出来了人人都是产品经理 · 09/16 17:22清华稳准智能联合发布LimiX-2,结构化数据基础模型登顶国际评测榜单量子位 · 09/16 14:32上市前交易市场:永续合约化的Pre-IPO资产金色财经 · 09/16 09:21豆包工作打出“团队Agent”牌,Workbuddy、千问会跟吗?人人都是产品经理 · 09/16 14:31企业该买模型还是养上下文?人人都是产品经理 · 09/16 10:39从入门到精通,一篇文章带你入门产品经理!(2026 年最新版)人人都是产品经理 · 09/16 08:53NVIDIA中国开发者日定档10月苏州,现场设认证考试与黑客松决赛Solidot · 09/15 14:44从担心AI失控 到AI造福人类:比尔盖茨怎么想金色财经 · 09/15 14:43美股太贵 该加仓新兴市场吗?金色财经 · 09/16 18:57OpenAI万亿IPO推迟背后 四本账与三条投资路径金色财经 · 09/16 11:27川普让步了 为何Clarity法案还遭到全体民主党人反对金色财经 · 09/16 10:43“裁判”不想给阿莫迪吹暂停金色财经 · 09/15 13:07以太坊 2026 年第二季度报告金色财经 · 09/15 17:06社区速递 158 | 便宜耐造的副厂手柄与大学宿舍里那些相见恨晚的装备少数派 · 09/15 17:00电商对账的设计逻辑:四层核对,逐层下钻人人都是产品经理 · 09/16 14:36CLARITY闯关失败 加密市场闻声而动 政策空白谁填补金色财经 · 09/16 15:26早报|雷军同日到访宇树与B站/罗永浩差评带来流量,野人先生单日涨粉近3万/鸿蒙智行确认问界合作调整,赛力斯主导爱范儿 / APPSO · 09/16 08:45微软 CEO 纳德拉:AI 应用的机会正在变大,模型成本将继续下降人人都是产品经理 · 09/16 11:48