Hugging Face Blog 发布于 08/13 08:00

What We Learned by Reproducing 2,200 papers from ICML

(翻译)我们通过复现 2,200 篇 ICML 论文学到了什么

查看原文

资讯摘要

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

AI 摘要

Hugging Face 组织社区黑客松复现 ICML 2026 论文。1200多名参与者用AI编程代理发布6816份复现日志,覆盖2226篇论文。51%被检论文至少一项主张获验证,23%出现证伪或争议,并发现多项证明缺陷与评估偏差。文章讨论了AI代理科研中人类的角色。

AI 问答

这次 ICML 论文复现黑客松的规模如何?

超过1200名社区成员参加,19天内发布6816份复现日志,尝试复现2226篇论文,占大会论文总数的34%。

复现结果中,有多少论文被完全验证?

266篇论文的所有主张都被验证,另有632篇部分复现但没有被证伪;整体上51%的被检论文至少有一项主张获得验证。

根据文章,为什么人类仍然在论文审查中有作用?

因为纯代理执行存在局限,比如会陷入局部循环、误解规模相关行为,甚至基于单位错误构建证伪结论;关键审查仍需要人类进行对抗性验证。

打开原文

更多资讯

CoinEx宣布体面关停:值得肯定但不该神化金色财经 · 09/16 22:20全球AI视频榜单第一梯队再添中国力量:智象发布首款物理规律导向视频模型量子位 · 09/15 18:418点1氪丨8月一线城市房价上涨;携程上架510万一张的太空旅行船票;字节跳动上半年净利润出现下滑,但海外收入占比再创新高36氪 · 09/16 08:01Anthropic CEO自爆行业黑幕金色财经 · 09/15 19:37产品观察丨xTool做了一台3000元起步的激光雕刻机,难的不只是价格36氪 · 09/16 10:40从担心AI失控 到AI造福人类:比尔盖茨怎么想金色财经 · 09/15 14:43Ctenophores Aren’t Just Beautiful. They’re Biological Wonders.Quanta Magazine · 09/16 23:56QQ 飞车 Agentic 研发转型过程中的Loop EngineeringInfoQ 中文 · 09/16 01:24DeepSeek-V4.1-Flash 的最佳 Harness 搭档,我觉得可能是 Claude Code人人都是产品经理 · 09/16 17:23圆桌:量智共振·多元路径:共筑中国量子产业下一个十年 | 36氪 2026产业未来大会36氪 · 09/15 15:35CLARITY法案为何倒在参议院门口?这主流如你所愿金色财经 · 09/16 12:08Windows 11 的 9 月例行安全更新再次引发了大量故障Solidot · 09/15 14:29和Jeff Dean押注同一方向,27岁清华助理教授创业,两个月融资数亿36氪 · 09/16 15:58Introducing Gemini 3.8 Live and 3.8 Live Extended ThinkingGoogle DeepMind Blog · 09/16 01:05黄仁勋再谈AI危险论:中国会成为全球开源重要力量金色财经 · 09/16 17:23GPT-6 Astra实现具身智能突破 中国如何打具身防卫战金色财经 · 09/16 14:58清晰法案有概率通过?市场可能并未定价金色财经 · 09/15 13:50高性能电动船艇动力系统公司获近亿A轮融资,海外收入增长450%丨36氪首发36氪 · 09/16 09:30关于项目交付的思考:部署是最后两公里,验收才是最后一公里人人都是产品经理 · 09/16 09:54基元律动与无问芯穹达成战略合作,推进高质量Token供给与应用量子位 · 09/16 16:09Mozilla 报告称中国开放权重模型与美国前沿模型仅相差 4.4 个月Solidot · 09/16 18:30云连锁到轻连锁,品牌业务逻辑的改变人人都是产品经理 · 09/16 11:47号称人类造的最后一个 AI 要来了,刷屏全网的 RSI 是什么爱范儿 / APPSO · 09/15 17:43首个AIGC长片大赛!RunningHub单项大奖100万,科幻IP免费改编量子位 · 09/15 15:48Grayscale:比特币能否优化私募市场投资组合?金色财经 · 09/15 09:10让AI真正赋能企业(初探)人人都是产品经理 · 09/15 17:20梁文锋CFO到位!投过智谱MiniMax量子位 · 09/15 21:53长期利率为何不愿下跌?金色财经 · 09/15 18:04B站AI无限竞技场今日上线!全球百大AI模型同场竞技,GPT-6高居榜首量子位 · 09/16 14:23AI风口之下,明星们又想“挤上”牌桌了人人都是产品经理 · 09/15 09:15