量子位 发布于 09/15 10:17

7名博士生仅用3个月从零训练7B大模型:代码+数据+训练日志全公开

查看原文

资讯摘要

几百个Agent参与研发,AI开始造AI

AI 摘要

北京中关村学院7名博士生用一个暑假从零训练出7B大模型ZGCM-1,并公开模型权重、训练代码、数据配方、中间checkpoint与日志。团队调度几百个Agent分工处理数据、跑实验和评测,实践AI4AI研发范式,并把11类研发任务按L1到L5评级AI自主性。训练中曾出现loss下降但能力退步,团队据此建立ACE原子能力评测体系定位问题。

AI 问答

ZGCM-1是什么模型,由谁训练?

它是由北京中关村学院7名博士生利用一个暑假从零训练的7B大模型,团队同时开放了各阶段训练数据与配方、模型权重、训练代码、中间checkpoint和日志。

几百个Agent在研发中承担了什么角色?

团队把数据处理、跑实验、做评测等工作分给不同Agent子团队,并通过自研ZGent平台沉淀会议决策、脚本与debug经验。实验监控和部署的AI自主性达到L4,模型架构与学习算法设计仍处于L2。

训练过程中遇到的最大问题是什么?

一次训练中loss持续下降但模型能力明显退步,最终追查到数据分片与shuffle导致实际训练数据配比波动;团队随后更密集保存checkpoint,并建立覆盖18类183项、2503个探针的ACE原子能力评测体系。

打开原文

更多资讯

当AI能解千禧难题,再次证明答案不再是门槛人人都是产品经理 · 09/15 09:44渣打给ARB十美元目标价靠什么?金色财经 · 09/16 21:36特朗普“一再让步”:美国加密法案仍未过关金色财经 · 09/16 17:18日本百岁老人人数首次超过 10 万人Solidot · 09/16 13:35开学季 | 学生理财的三条建议,学生党也可以一样理财少数派 · 09/15 11:10比 MEGA Home 便宜 14 万!理想 i9 Home 上市定价 36.98 万元,六座旗舰变天了爱范儿 / APPSO · 09/16 23:21不止一颗CPU?智能体经济时代,Arm对算力平台有了新理解雷峰网 · 09/15 09:58豆包手机明日开卖,AI能帮你操作App了吗?36氪 · 09/15 22:32Uniswap v4上的恶意Hooks金色财经 · 09/15 12:43高通技术公司携手中兴努比亚和豆包手机助手,共同推动智能手机迈入个人AI新时代量子位 · 09/16 16:18字节6年,如何一步步走上带20人团队的leader人人都是产品经理 · 09/16 14:39产品经理的体面,是一块不能失守的 “括约肌”人人都是产品经理 · 09/15 16:09圆桌:探路·产业分工的新图谱,看到新未来——国家力量如何转化为产业价值 | 36氪 2026产业未来大会36氪 · 09/15 17:39基元律动与无问芯穹达成战略合作,推进高质量Token供给与应用量子位 · 09/16 16:09英伟达开源 IMO 金牌配方:不仅是「人海战术」,1.5TB 显存做实 AI「 推恩令」?雷峰网 · 09/15 17:38字节跳动CEO梁汝波:豆包、飞书与火山引擎整合后 将加大企业市场投入雷峰网 · 09/15 11:45无问芯穹联合清华、上交正式开源具身端侧推理引擎APXInf,Pi 0.5性能SOTA量子位 · 09/15 18:43NVIDIA中国开发者日定档10月苏州,现场设认证考试与黑客松决赛Solidot · 09/15 14:4419.98 万元起,吉利银河战舰 700 开启预售,最高 1129 匹马力,还有三电机四驱爱范儿 / APPSO · 09/15 21:04Dense vs. MoE Models: Active Parameters, Throughput, and When to Choose EachNVIDIA Technical Blog · 09/16 01:00CoinEx宣布体面关停:值得肯定但不该神化金色财经 · 09/16 22:20“极端”空头压境 美联储周三不加息就是最大意外金色财经 · 09/16 08:22英伟达带动AI数据中心大变革,中国厂商不想当边缘人36氪 · 09/16 14:22做了两年AI落地,我总结了这7点思考人人都是产品经理 · 09/16 11:04CLARITY法案未通过程序性表决 OpenAI拟IPO前融资金色财经 · 09/16 07:53OpenAI 总裁最新采访:现在所有人对 AI 的预测,大概率都是错的人人都是产品经理 · 09/15 16:19号称人类造的最后一个 AI 要来了,刷屏全网的 RSI 是什么爱范儿 / APPSO · 09/15 17:43Optimizing cost and latency with Amazon Bedrock prompt cachingAWS Machine Learning Blog · 09/16 00:18科学家演示水下太阳能电池Solidot · 09/15 15:30CoinShares Q2 挖矿季报:矿企倒贴钱退出金色财经 · 09/16 19:31