arXiv cs.AI 发布于 09/10 12:00

OpenDiscoveryTrace: Process Traces for Evaluating AI Scientist Workflows

(翻译)OpenDiscoveryTrace:评估AI科学家工作流的过程轨迹

查看原文

资讯摘要

Abstract page for arXiv paper 2609.09203: OpenDiscoveryTrace: Process Traces for Evaluating AI Scientist Workflows

AI 摘要

arXiv论文提出OpenDiscoveryTrace,一个包含558条AI科学智能体完整轨迹的公开数据集,覆盖药物发现、材料科学、基因组学等124个科学任务和7个模型。每条轨迹按步骤记录思想、工具调用、观察、错误等9个字段。初步分析发现,过程轨迹能揭示仅看输出无法发现的模型行为差异。论文还定义五项基准任务,数据集与代码以CC BY 4.0公开。

AI 问答

OpenDiscoveryTrace数据集包含什么?

包含558条完整的AI科学智能体轨迹,每条轨迹按步骤记录9个字段,包括思想、工具调用、观察、错误、修正触发和自报置信度等。覆盖124个科学任务,涉及药物发现、材料科学、基因组学和科学文献分析,涵盖7个模型。

该研究的初步分析发现了什么?

对363条经LLM评判的轨迹分析发现,过程轨迹能揭示仅看输出无法发现的行为差异:三个前沿模型成功率相近(84–89%),但Claude Opus 4.6的错误数比GPT-5.4多30倍,且错误类型不同。

数据集和基准如何获取?

数据集、轨迹模式、智能体框架和基准定义以CC BY 4.0公开,代码在GitHub,数据集在Hugging Face。该工作在ICML 2026 AI for Science Workshop获最佳数据集奖。

打开原文

更多资讯

GPT-6 Astra实现具身智能突破 中国如何打具身防卫战金色财经 · 09/16 14:58耐克、妮维雅、谷歌的警示:品类,正在误导品牌战略!人人都是产品经理 · 09/15 09:42清华稳准智能联合发布LimiX-2,结构化数据基础模型登顶国际评测榜单量子位 · 09/16 14:32别闹,几粒盐就能立起高脚杯?你是不是用胶水了?果壳网 · 09/15 14:15AI 产品经理怎么入行?岗位方向、核心能力与转型路径一次讲清人人都是产品经理 · 09/15 08:54Java新闻汇总:Simple JSON API、GlassFish、Jakarta EE、JNoSQL和Open Liberty、LangChain4jInfoQ 中文 · 09/16 19:06牛市的钱:是熊市里守出来的金色财经 · 09/15 19:04F-Droid 上的应用有多少是在 AI 帮助下编写的?Solidot · 09/15 20:45Stella:“显化”想要的人生,60天35万美元月收入人人都是产品经理 · 09/16 14:09圆桌:生长·资方投资的新方程——穿越周期的耐心与价值 | 36氪 2026产业未来大会36氪 · 09/15 17:06被英伟达点名的杭州团队,补上了AI for Science的「最后一公里」量子位 · 09/16 11:40开学季 | 学生理财的三条建议,学生党也可以一样理财少数派 · 09/15 11:10AI for everyone in every languageGoogle AI Blog · 09/16 00:00Announcing instance preference lists for Amazon SageMaker AI training jobsAWS Machine Learning Blog · 09/16 00:01Your Agent Aced the Task. Will It Do It Again?Hugging Face Blog · 09/16 00:00英伟达开源 IMO 金牌配方:不仅是「人海战术」,1.5TB 显存做实 AI「 推恩令」?雷峰网 · 09/15 17:38算力、机器人、仿真与资本,谁在定义物理AI下一个十年?|第十届全球ICT峰会回顾36氪 · 09/15 17:47「沃什时代」首次加息要来了?华尔街算好了三种剧本金色财经 · 09/16 20:25现在参与以太坊原生质押为什么要先排队一个月?金色财经 · 09/16 21:24高瓴系 CFO 往事:一代顶级机构年轻人的迁徙与突围人人都是产品经理 · 09/16 09:32语义翻译的操作日常:把”我觉得不对”变成”机器能查”人人都是产品经理 · 09/16 09:52找不到小红书爆文选题?去淘宝差评区抄!人人都是产品经理 · 09/15 11:29破局产品同质化:长期主义的产品突围之路人人都是产品经理 · 09/16 14:12DeepSeek-V4.1-Flash 的最佳 Harness 搭档,我觉得可能是 Claude Code人人都是产品经理 · 09/16 17:23GPT Image 2.5 对比实测:变化与局限人人都是产品经理 · 09/15 09:46Denuvo 起诉黑客违反 DMCA 反规避条款Solidot · 09/16 23:2736氪研究院 | 2026年北京市OPC创业者研究报告36氪 · 09/15 16:30129亿美元卖身英伟达之后,是时候重新理解Hugging Face了InfoQ 中文 · 09/16 16:00企业案例分享:玉盘量智-离子阱量子计算芯片化集成工程实践 | 36氪 2026产业未来大会36氪 · 09/15 18:33科学家演示水下太阳能电池Solidot · 09/15 15:30