Google DeepMind Blog 发布于 06/11 00:24

DiffusionGemma: 4x faster text generation

(翻译)DiffusionGemma:文本生成速度最高提升4倍

查看原文

资讯摘要

An overview of DiffusionGemma, an exceptionally fast text generation model with up to 4x faster speeds.

AI 摘要

Google DeepMind 发布开源实验模型 DiffusionGemma,基于 26B 总参数 MoE 架构(激活 3.8B),采用文本扩散方式并行生成文本块,在 NVIDIA H100 上每秒可生成超 1000 个 token,较传统自回归模型最高提速 4 倍。模型以 Apache 2.0 协议开源,面向低并发、交互式本地推理场景,支持开发者微调。

AI 问答

DiffusionGemma 的生成速度有多快?

在 NVIDIA H100 上每秒可生成超过 1000 个 token,在 GeForce RTX 5090 上超过 700 个 token,相比传统自回归模型最高可提升 4 倍。

DiffusionGemma 的模型架构有什么特点?

它是一个 26B 总参数的 MoE 模型,推理时仅激活 3.8B 参数,采用文本扩散机制,每次前向传播可并行生成 256 个 token,并支持双向注意力。

该项目适合哪些应用场景?

适合速度敏感的交互式本地推理,如行内编辑、代码填充、数学图或氨基酸序列等非线性文本结构。高并发云服务场景下自回归模型可能更高效。

打开原文

更多资讯

Cloudflare将每天90亿次请求的JavaScript CDN迁移到其开发者平台InfoQ 中文 · 09/16 17:10Scaling Federated Learning Across Docker, Kubernetes, and Slurm with NVIDIA FLARENVIDIA Technical Blog · 09/15 23:00OpenAI 总裁最新采访:现在所有人对 AI 的预测,大概率都是错的人人都是产品经理 · 09/15 16:19Robinhood的财富效应金色财经 · 09/16 12:47苹果Siri AI上线;豆包手机助手消费版正式发布;塔克拉玛干沙漠发现两处大型地下水水源果壳网 · 09/15 20:15数亿元!前京东副总裁“消失”4年:不造会跑的天工,他在仓库里给人形机器人“占工位”雷峰网 · 09/15 15:14AI 减速还是不减速:一场周末点燃的行业与政府对垒金色财经 · 09/15 12:06How NVIDIA NVLink 6 Delivers Multi-Layer Resiliency for AI FactoriesNVIDIA Technical Blog · 09/16 00:557名博士生仅用3个月从零训练7B大模型:代码+数据+训练日志全公开量子位 · 09/15 10:17从入门到精通,一篇文章带你入门产品经理!(2026 年最新版)人人都是产品经理 · 09/16 08:53Your Agent Aced the Task. Will It Do It Again?Hugging Face Blog · 09/16 00:00奇安信斩获国家信息安全漏洞库CNNVD两项重磅荣誉雷峰网 · 09/16 10:36WorkBuddy + 美图设计室,在对话框里就能解决办公设计任务?人人都是产品经理 · 09/15 08:57Dense vs. MoE Models: Active Parameters, Throughput, and When to Choose EachNVIDIA Technical Blog · 09/16 01:00百度做了一堆AI产品,却没有一个能代表百度?人人都是产品经理 · 09/15 18:31产品经理的体面,是一块不能失守的 “括约肌”人人都是产品经理 · 09/15 16:09黄仁勋正演讲遇特朗普突然来电:通话全程直播金色财经 · 09/15 21:33就业率砍半,年轻人靠什么翻盘?AI时代,这三点越早做越好人人都是产品经理 · 09/15 16:12日本百岁老人人数首次超过 10 万人Solidot · 09/16 13:35英伟达带动AI数据中心大变革,中国厂商不想当边缘人36氪 · 09/16 14:22自主团队被捧过头了?Simon Rohrer 直言:你们交付的根本不是产品InfoQ 中文 · 09/16 21:239月21日,深圳前海!聊聊工业AI与生态共创的下一步量子位 · 09/15 13:20Mistral 与 Mozilla 合作推出 Firefox Smart WindowSolidot · 09/16 18:53Opus 5.2深夜上线 RSI真来了?金色财经 · 09/15 11:43129亿美元卖身英伟达之后,是时候重新理解Hugging Face了InfoQ 中文 · 09/16 16:00CLARITY法案投票失败 加密监管立法再度搁浅金色财经 · 09/16 08:55上市前交易市场:永续合约化的Pre-IPO资产金色财经 · 09/16 09:21AI健康走进百姓餐桌,蚂蚁阿福推出AI饮食分功能雷峰网 · 09/16 15:20企业该买模型还是养上下文?人人都是产品经理 · 09/16 10:39圆桌:CVC的全面崛起 | 36氪 2026产业未来大会36氪 · 09/15 16:59