雷峰网 发布于 08/28 15:27

Jalapeño 跑分炸场,GPU 推理路线开始分裂?

查看原文

资讯摘要

    作者丨 郑佳美     编辑丨岑   峰                                                                       &nbsp

AI 摘要

OpenAI 公布自研推理芯片 Jalapeño 首批跑分,在多个大模型上单位功耗 Token 吞吐提升约1.5-1.9倍、延迟降低。文章对比 OpenAI、NVIDIA 和 Google 的推理硬件路线:OpenAI 采用同构灵活调度,NVIDIA 引入 Groq LPU 拆分 Prefill/Decode,Google 将 TPU 8 分为训练和推理版本,指出 AI 芯片竞争焦点正从 FLOPS 转向 Token 成本。

AI 问答

Jalapeño 芯片在哪些模型上进行了跑分?

公开数据在 GPT-OSS 120B、DeepSeek R1 670B 和 Kimi K2.5 1T 上进行了测试。

为什么大模型推理中 Decode 阶段容易卡在内存带宽?

因为 Decode 阶段每次只生成一个 Token,并行度下降,但模型权重仍要读取,算术强度低,导致内存带宽成为瓶颈。

NVIDIA 如何将 Groq 3 LPU 集成到推理系统中?

GPU 负责 Prefill,大部分 Decode 放到 LPU,Decode 中的 Attention 回到 GPU,通过 micro-batch 重叠计算和通信,用 FPGA 作为异步桥接。

打开原文

更多资讯

黄仁勋再谈AI危险论:中国会成为全球开源重要力量金色财经 · 09/16 17:23字节将发布独立智能网盘“ADrive”,腾讯网盘先已布局,网盘AI大战打响人人都是产品经理 · 09/15 18:277名博士生仅用3个月从零训练7B大模型:代码+数据+训练日志全公开量子位 · 09/15 10:172nm天玑9600 Pro,把旗舰SoC竞争推向「融合计算」雷峰网 · 09/16 18:02时光机器遭遇大规模机器流量Solidot · 09/16 16:32华为GTS让Agent学会「看着网络排障」,双防火墙难题几乎全拿下量子位 · 09/16 10:27B站AI无限竞技场今日上线!全球百大AI模型同场竞技,GPT-6高居榜首量子位 · 09/16 14:23GPT-6 Astra 之后,产品经理需要重新设计人在流程中的位置人人都是产品经理 · 09/16 09:10前OpenAI后训练VP回应陶哲轩:说AI毁了数学,可能还是太小瞧AI了量子位 · 09/15 13:39510万一张!携程上架太空旅行船票:已有681人购买,还得自己买保险;娃哈哈因拖欠员工公积金被查封办公楼;华为放权!问界将由赛力斯主导雷峰网 · 09/16 08:31场景越多 ≠ 产品越好,:从抽象价值到真实生活的定义结构人人都是产品经理 · 09/15 11:58实时互动、实时改视频、探索空间视频,Vidu S2一次放了三个大招量子位 · 09/16 10:58OpenAI故意欠技术债,等Codex来还:仅2名工程师,把核心存储从Python重写成RustInfoQ 中文 · 09/16 00:09QQ 飞车 Agentic 研发转型过程中的Loop EngineeringInfoQ 中文 · 09/16 01:24穿透查询怎样升级为穿透管控?人人都是产品经理 · 09/15 14:24Scaling Federated Learning Across Docker, Kubernetes, and Slurm with NVIDIA FLARENVIDIA Technical Blog · 09/15 23:00耐克和lululemon双双失速,运动品牌进入碎片化时代人人都是产品经理 · 09/15 11:40AI健康走进百姓餐桌,蚂蚁阿福推出AI饮食分功能雷峰网 · 09/16 15:20在金融支付系统中实施混沌工程:来自企业级 ECS 部署的经验教训InfoQ 中文 · 09/15 17:04当年救了臭氧层的功臣,现在变成了永久性污染物果壳网 · 09/16 13:15拼多多链接裂变玩法人人都是产品经理 · 09/15 09:20潘功胜最新文章:深刻认识中国金融结构变迁(全文)金色财经 · 09/16 13:28理想落幕:加密行业为何集体走向同质化?金色财经 · 09/15 18:319月21日,深圳前海!聊聊工业AI与生态共创的下一步量子位 · 09/15 13:20英伟达开源 IMO 金牌配方:不仅是「人海战术」,1.5TB 显存做实 AI「 推恩令」?雷峰网 · 09/15 17:38全球AI视频榜单第一梯队再添中国力量:智象发布首款物理规律导向视频模型量子位 · 09/15 18:41豆包 2.1 Pro模型更新,已接入豆包工作雷峰网 · 09/16 14:01无问芯穹联合清华、上交正式开源具身端侧推理引擎APXInf,Pi 0.5性能SOTA量子位 · 09/15 18:43GPT-6 Sol要来了?OpenAI本周或迎“发布狂潮”金色财经 · 09/16 13:17从200亿收购失败到650亿IPO:Figma如何用“协作”颠覆设计帝国人人都是产品经理 · 09/16 11:30