InfoQ 中文 发布于 08/26 22:51

535B 大模型“直播”训练三个月:代码、数据、Loss全公开,吴恩达公开力挺

查看原文

资讯摘要

11 套英伟达 GB200 连续跑 3 个月,大模型最昂贵的“炼丹过程”被彻底摊开。

AI 摘要

斯坦福CRFM发起Marin开放基础模型项目,公开训练5350亿参数MoE模型。训练将处理18.75万亿Token,运行在11套GB200上,全程公开数据、代码、Loss曲线和实验记录。项目通过缩放梯和开放实验室机制探索AI研究透明度,吴恩达公开支持。

AI 问答

Marin 535B-A23B 中的 A23B 是什么意思?

A23B 表示该 MoE 模型每个 Token 实际激活约 230 亿参数,并非所有 5350 亿参数同时参与计算。

为什么 Marin 选择从 4K 上下文开始预训练?

较短的上下文可在同等 Token 批量下容纳更多独立序列,使专家负载更均衡,从而降低 Token Dropping 比例。此前实验中上下文从 4K 扩展到 65K 时,Token Dropping 从约 7% 升至约 40%。

Marin 项目的核心目标是什么?

让基础模型的训练过程像开源软件一样公开可审查,通过开放实验室机制实时发布数据、代码、Loss 和实验记录,推动 AI 研究的透明化和协作。

打开原文

更多资讯

豆包 2.1 Pro模型更新,已接入豆包工作雷峰网 · 09/16 14:01超越代币化:让RWA在链上真正有用金色财经 · 09/16 16:39清晰法案投票失败 后续还有机会吗?金色财经 · 09/16 14:34月下载暴增366%,上海真人社交公司切入东南亚AI陪伴,AI角色也能“奔现”人人都是产品经理 · 09/16 14:44Cloudflare将每天90亿次请求的JavaScript CDN迁移到其开发者平台InfoQ 中文 · 09/16 17:10金色Web3.0日报 | 黄仁勋批驳「AI末日论」金色财经 · 09/15 21:48别闹,几粒盐就能立起高脚杯?你是不是用胶水了?果壳网 · 09/15 14:15担心代码被拿去训练!英伟达:限制员工使用 Claude;一汽将成广汽第二大股东!南北丰田拟合并;苹果回应「iPhone 18 Pro破发」雷峰网 · 09/15 08:23基元律动与无问芯穹达成战略合作,推进高质量Token供给与应用量子位 · 09/16 16:09被AI放大的光学「戏份」,让「配角」舜宇的生意越做越大雷峰网 · 09/16 18:33上市前交易市场:永续合约化的Pre-IPO资产金色财经 · 09/16 09:21早报|iOS27正式推送/比亚迪高管:燃油车在中国没有未来/iPhone 18 Pro渠道降价900元,苹果称不干预爱范儿 / APPSO · 09/15 08:08OpenAI故意欠技术债,等Codex来还:仅2名工程师,把核心存储从Python重写成RustInfoQ 中文 · 09/16 00:09月之暗面:网传创始人及员工信息系恶意造谣;OpenAI 放弃今年上市;iPhone Duo炒到9万,黄牛贷款欲囤货|AI周报InfoQ 中文 · 09/16 00:07从 Trace 到规模化实时评估:面向生产流量的 Agent 可观测实践|QCon上海InfoQ 中文 · 09/15 18:08飞书与豆包工作合体后首亮相:Agent 能进群,还能帮你写周报、做PPTInfoQ 中文 · 09/16 02:37DeepSeek-V4.1-Flash 的最佳 Harness 搭档,我觉得可能是 Claude Code人人都是产品经理 · 09/16 17:23Windows 11 的 9 月例行安全更新再次引发了大量故障Solidot · 09/15 14:29王强宇履新百望:从发票SaaS工具,到财税垂直大模型,再到企业的Palantir雷峰网 · 09/16 10:13时光机器遭遇大规模机器流量Solidot · 09/16 16:32具透 | 精心优化, 体验感愉悦升华:iOS 27 中值得关注的新特性少数派 · 09/15 15:00大促GMV猛涨500%:激光雕刻设备靠"创意落地"出海东南亚雷峰网 · 09/16 15:57碧桂园服务与支付宝全面深化合作,共筑“智慧物业”数字化新标杆雷峰网 · 09/16 16:48圆桌:跃迁·AI深流,价值跃升——AI深水时代,从模型竞逐到产业价值涌现 | 36氪 2026产业未来大会36氪 · 09/15 17:23OpenAI 总裁:AGI 已经发生金色财经 · 09/15 22:25圆桌:量智共振·多元路径:共筑中国量子产业下一个十年 | 36氪 2026产业未来大会36氪 · 09/15 15:35清华稳准智能联合发布LimiX-2,结构化数据基础模型登顶国际评测榜单量子位 · 09/16 14:32企业案例分享:坤煜量子|36氪2026产业未来大会36氪 · 09/15 16:54字节将发布独立智能网盘“ADrive”,腾讯网盘先已布局,网盘AI大战打响人人都是产品经理 · 09/15 18:27美国加密新规又黄了金色财经 · 09/16 20:21