Dense 模型和 MoE 模型在参数使用上有什么区别？
Dense 模型每个 token 都会激活全部参数；MoE 模型每层有多个专家 FFN，通过路由器为每个 token 选择 top-k 专家，仅激活部分参数，但仍需将全部参数加载到显存。
Dense vs. MoE Models: Active Parameters, Throughput, and When to Choose Each
（翻译）稠密模型与 MoE 模型：激活参数、吞吐量以及何时选择各自
资讯摘要
How can a 30B-parameter model activate only 3B parameters per token, and still use the capacity of the larger model? Nemotron 3.5…
AI 摘要
NVIDIA 技术博客解析稠密模型与 MoE 模型的架构差异：稠密模型为每个 token 激活全部参数，MoE 通过路由器仅激活部分专家 FFN，从而将显存占用与每 token 计算量解耦。文章比较二者在吞吐、延迟、显存、并发、微调与量化上的权衡，并给出选择建议，例如 Nemotron 3.5 Lightning 以 30B 总参数仅激活 3B 参数实现高吞吐。
AI 问答
MoE 一定比 Dense 更快吗？
MoE 通常有更高的 token 吞吐，因为每个 token 只计算部分 FFN 参数；但在高并发下其延迟优势可能缩小，且实际表现受硬件、精度、推理框架和模型设计影响，需要实测。
选择 Dense 还是 MoE 时应考虑哪些因素？
可重点考虑显存预算、并发与延迟要求、微调计划以及量化难度。Dense 部署更简单、延迟更可预测；MoE 以固定显存换取更高吞吐和更大容量。
更多资讯
Optimizing cost and latency with Amazon Bedrock prompt caching
从 270 分钟到 18 分钟：B 端产品经理如何主导一个 AI 达人撮合系统
二次元“赛博分身”撬动日本市场：玩家“沉默”的AI陪伴产品，凭什么次留60%？日本百岁老人人数首次超过 10 万人
旗舰SoC进入融合计算时代，天玑9600 Pro首创AI原生架构！Anew Labs已完成 2.9 亿美元融资，红杉中国、高瓴、IDG、五源、高榕等参与
Grayscale：比特币能否优化私募市场投资组合？
2人团队0融资，用AI搓的复古相机APP霸榜韩国总榜第4，还做到了3个月10亿销售额？不止一颗CPU？智能体经济时代，Arm对算力平台有了新理解
AI没有泡沫 只有割裂被AI放大的光学「戏份」，让「配角」舜宇的生意越做越大华为坤灵升级“4+10+N”场景化方案，发布“经纬计划”和50个样板点
视频号评论区小蓝词使用指南
理想落幕：加密行业为何集体走向同质化？
OpenAI故意欠技术债，等Codex来还：仅2名工程师，把核心存储从Python重写成Rust
无效的管理者和疲惫的基层：浅论考核指标的漂移
Meta 打造“组织第二大脑”智能体的设计思路圆桌：生长·资方投资的新方程——穿越周期的耐心与价值 | 36氪 2026产业未来大会Windows 11 的 9 月例行安全更新再次引发了大量故障圆桌：CVC的全面崛起 | 36氪 2026产业未来大会
拼多多链接裂变玩法
QQ 飞车 Agentic 研发转型过程中的Loop Engineering
CoinShares Q2 挖矿季报：矿企倒贴钱退出前高通算法研发经理跨界AI算力板检测，获近亿元战略投资丨36氪首发
苹果Siri AI上线；豆包手机助手消费版正式发布；塔克拉玛干沙漠发现两处大型地下水水源
号称人类造的最后一个 AI 要来了，刷屏全网的 RSI 是什么基元律动与无问芯穹达成战略合作，推进高质量Token供给与应用地平线第1500万颗征程芯片搭载大众 ID. AURA T6，HSD V2.1 即将推出SDL3 移植到 HarmonyOS / OpenHarmony
字节将发布独立智能网盘“ADrive”，腾讯网盘先已布局，网盘AI大战打响
从 270 分钟到 18 分钟：B 端产品经理如何主导一个 AI 达人撮合系统二次元“赛博分身”撬动日本市场：玩家“沉默”的AI陪伴产品，凭什么次留60%？日本百岁老人人数首次超过 10 万人旗舰SoC进入融合计算时代，天玑9600 Pro首创AI原生架构！Anew Labs已完成 2.9 亿美元融资，红杉中国、高瓴、IDG、五源、高榕等参与Grayscale：比特币能否优化私募市场投资组合？2人团队0融资，用AI搓的复古相机APP霸榜韩国总榜第4，还做到了3个月10亿销售额？不止一颗CPU？智能体经济时代，Arm对算力平台有了新理解AI没有泡沫 只有割裂被AI放大的光学「戏份」，让「配角」舜宇的生意越做越大华为坤灵升级“4+10+N”场景化方案，发布“经纬计划”和50个样板点视频号评论区小蓝词使用指南理想落幕：加密行业为何集体走向同质化？OpenAI故意欠技术债，等Codex来还：仅2名工程师，把核心存储从Python重写成Rust无效的管理者和疲惫的基层：浅论考核指标的漂移Meta 打造“组织第二大脑”智能体的设计思路圆桌：生长·资方投资的新方程——穿越周期的耐心与价值 | 36氪 2026产业未来大会Windows 11 的 9 月例行安全更新再次引发了大量故障圆桌：CVC的全面崛起 | 36氪 2026产业未来大会拼多多链接裂变玩法QQ 飞车 Agentic 研发转型过程中的Loop EngineeringCoinShares Q2 挖矿季报：矿企倒贴钱退出前高通算法研发经理跨界AI算力板检测，获近亿元战略投资丨36氪首发苹果Siri AI上线；豆包手机助手消费版正式发布；塔克拉玛干沙漠发现两处大型地下水水源号称人类造的最后一个 AI 要来了，刷屏全网的 RSI 是什么基元律动与无问芯穹达成战略合作，推进高质量Token供给与应用地平线第1500万颗征程芯片搭载大众 ID. AURA T6，HSD V2.1 即将推出SDL3 移植到 HarmonyOS / OpenHarmony字节将发布独立智能网盘“ADrive”，腾讯网盘先已布局，网盘AI大战打响