影子引擎恢复如何做到秒级接管?
它让一个完全初始化的影子引擎与主引擎同卡驻留,通过 GPU Memory Service 共享 HBM 中的权重;主进程故障后,影子引擎只需获取锁、重新映射权重并物化 KV 缓存即可开始服务,无需冷启动加载权重和重建 CUDA graph。
(翻译)借助 NVIDIA Dynamo 中的影子引擎恢复在数秒内恢复 LLM 推理容量

When an LLM engine process fails, the standard recovery path involves a cold restart. This requires loading weights into HBM from storage, compiling kernels…
NVIDIA Dynamo 预览功能影子引擎恢复通过 GPU Memory Service 持久化权重并保留预初始化的空闲引擎,在故障时将 LLM 推理恢复从冷启动的 283 秒降至 7.3 秒。双引擎 GLM-5.2 测试中恢复速度提升约 39 倍,且重新初始化在后台进行,不影响服务路径。
它让一个完全初始化的影子引擎与主引擎同卡驻留,通过 GPU Memory Service 共享 HBM 中的权重;主进程故障后,影子引擎只需获取锁、重新映射权重并物化 KV 缓存即可开始服务,无需冷启动加载权重和重建 CUDA graph。
停车状态下的影子引擎仅保留 CUDA 上下文、捕获的图、通信器和权重映射,不单独复制权重且不物化 KV 缓存,因此显存开销很小,可与活跃引擎同卡共存。
以太坊 2026 年第二季度报告
129亿美元卖身英伟达之后,是时候重新理解Hugging Face了
OpenAI故意欠技术债,等Codex来还:仅2名工程师,把核心存储从Python重写成Rust
拼多多链接裂变玩法企业案例分享:伊辛智能|36氪2026产业未来大会和Jeff Dean押注同一方向,27岁清华助理教授创业,两个月融资数亿
字节6年,如何一步步走上带20人团队的leader
让AI真正赋能企业(初探)
英伟达开源 IMO 金牌配方:不仅是「人海战术」,1.5TB 显存做实 AI「 推恩令」?
“阿宝”交新朋友:携手比亚迪“迪迪虾”,实现车机端一句话办事
清华稳准智能联合发布LimiX-2,结构化数据基础模型登顶国际评测榜单
破局产品同质化:长期主义的产品突围之路FAST 发现极短周期、最轻双中子星系统
Anew Labs已完成 2.9 亿美元融资,红杉中国、高瓴、IDG、五源、高榕等参与
How NVIDIA NVLink 6 Delivers Multi-Layer Resiliency for AI Factories
2人团队0融资,用AI搓的复古相机APP霸榜韩国总榜第4,还做到了3个月10亿销售额?
苹果Siri AI上线;豆包手机助手消费版正式发布;塔克拉玛干沙漠发现两处大型地下水水源圆桌:中国之光成为新共识| 36氪 2026产业未来大会无问芯穹联合清华、上交正式开源具身端侧推理引擎APXInf,Pi 0.5性能SOTA
金色Web3.0日报 | 黄仁勋批驳「AI末日论」
我和我的 AI 手机吃了 3 顿饭
强化学习大本营新作:如何破解「学新忘旧」困局
豆包 2.1 Pro模型更新,已接入豆包工作
语义翻译的操作日常:把”我觉得不对”变成”机器能查”
实习生1天消耗1亿Token被约谈:如何衡量Token的ROI
这种国民鱼一直被低估、被当廉价鱼!现在才知道钙和 DHA 这么多!快试试
CLARITY闯关失败 加密市场闻声而动 政策空白谁填补
AI 负责创造,人来干脏活,这事儿能否停一下?
数亿元!前京东副总裁“消失”4年:不造会跑的天工,他在仓库里给人形机器人“占工位”