NVIDIA Technical Blog 发布于 08/26 04:57

Restore LLM Inference Capacity in Seconds with Shadow Engine Recovery in NVIDIA Dynamo

(翻译)借助 NVIDIA Dynamo 中的影子引擎恢复在数秒内恢复 LLM 推理容量

查看原文

资讯摘要

When an LLM engine process fails, the standard recovery path involves a cold restart. This requires loading weights into HBM from storage, compiling kernels…

AI 摘要

NVIDIA Dynamo 预览功能影子引擎恢复通过 GPU Memory Service 持久化权重并保留预初始化的空闲引擎,在故障时将 LLM 推理恢复从冷启动的 283 秒降至 7.3 秒。双引擎 GLM-5.2 测试中恢复速度提升约 39 倍,且重新初始化在后台进行,不影响服务路径。

AI 问答

影子引擎恢复如何做到秒级接管?

它让一个完全初始化的影子引擎与主引擎同卡驻留,通过 GPU Memory Service 共享 HBM 中的权重;主进程故障后,影子引擎只需获取锁、重新映射权重并物化 KV 缓存即可开始服务,无需冷启动加载权重和重建 CUDA graph。

影子引擎会额外占用多少显存?

停车状态下的影子引擎仅保留 CUDA 上下文、捕获的图、通信器和权重映射,不单独复制权重且不物化 KV 缓存,因此显存开销很小,可与活跃引擎同卡共存。

打开原文

更多资讯

廉价太阳能改变世界能源格局Solidot · 09/15 17:19以太坊 2026 年第二季度报告金色财经 · 09/15 17:06129亿美元卖身英伟达之后,是时候重新理解Hugging Face了InfoQ 中文 · 09/16 16:00OpenAI故意欠技术债,等Codex来还:仅2名工程师,把核心存储从Python重写成RustInfoQ 中文 · 09/16 00:09拼多多链接裂变玩法人人都是产品经理 · 09/15 09:20企业案例分享:伊辛智能|36氪2026产业未来大会36氪 · 09/15 16:38和Jeff Dean押注同一方向,27岁清华助理教授创业,两个月融资数亿36氪 · 09/16 15:58字节6年,如何一步步走上带20人团队的leader人人都是产品经理 · 09/16 14:39让AI真正赋能企业(初探)人人都是产品经理 · 09/15 17:20英伟达开源 IMO 金牌配方:不仅是「人海战术」,1.5TB 显存做实 AI「 推恩令」?雷峰网 · 09/15 17:38“阿宝”交新朋友:携手比亚迪“迪迪虾”,实现车机端一句话办事雷峰网 · 09/15 16:45清华稳准智能联合发布LimiX-2,结构化数据基础模型登顶国际评测榜单雷峰网 · 09/16 16:05破局产品同质化:长期主义的产品突围之路人人都是产品经理 · 09/16 14:12FAST 发现极短周期、最轻双中子星系统Solidot · 09/16 19:09Anew Labs已完成 2.9 亿美元融资,红杉中国、高瓴、IDG、五源、高榕等参与雷峰网 · 09/16 14:28How NVIDIA NVLink 6 Delivers Multi-Layer Resiliency for AI FactoriesNVIDIA Technical Blog · 09/16 00:552人团队0融资,用AI搓的复古相机APP霸榜韩国总榜第4,还做到了3个月10亿销售额?人人都是产品经理 · 09/16 10:20苹果Siri AI上线;豆包手机助手消费版正式发布;塔克拉玛干沙漠发现两处大型地下水水源果壳网 · 09/15 20:15圆桌:中国之光成为新共识| 36氪 2026产业未来大会36氪 · 09/15 17:15无问芯穹联合清华、上交正式开源具身端侧推理引擎APXInf,Pi 0.5性能SOTA量子位 · 09/15 18:43金色Web3.0日报 | 黄仁勋批驳「AI末日论」金色财经 · 09/15 21:48我和我的 AI 手机吃了 3 顿饭爱范儿 / APPSO · 09/16 12:04强化学习大本营新作:如何破解「学新忘旧」困局雷峰网 · 09/15 10:18豆包 2.1 Pro模型更新,已接入豆包工作雷峰网 · 09/16 14:01语义翻译的操作日常:把”我觉得不对”变成”机器能查”人人都是产品经理 · 09/16 09:52实习生1天消耗1亿Token被约谈:如何衡量Token的ROI人人都是产品经理 · 09/16 14:19这种国民鱼一直被低估、被当廉价鱼!现在才知道钙和 DHA 这么多!快试试果壳网 · 09/15 22:15CLARITY闯关失败 加密市场闻声而动 政策空白谁填补金色财经 · 09/16 15:26AI 负责创造,人来干脏活,这事儿能否停一下?InfoQ 中文 · 09/15 08:08数亿元!前京东副总裁“消失”4年:不造会跑的天工,他在仓库里给人形机器人“占工位”雷峰网 · 09/15 15:14