NVIDIA Technical Blog 发布于 08/18 02:12

Developing Nemotron 3.5 Lightning NVFP4 with QAD Using NVIDIA Model Optimizer

(翻译)使用 NVIDIA Model Optimizer 通过 QAD 开发 Nemotron 3.5 Lightning NVFP4

查看原文

资讯摘要

Teams customize their models to hit their targets for latency, speed, memory, and compute. With the open NVIDIA Nemotron family of models…

AI 摘要

NVIDIA 技术博客介绍如何使用 NVIDIA Model Optimizer,通过量化感知蒸馏(QAD)开发 Nemotron 3.5 Lightning NVFP4 模型。文章详细说明从 PTQ 到 QAD 训练的两阶段流程,包括五种量化配方、训练配置与蒸馏数据选择。该方法将模型从 66GB 压缩至 22GB,并实现最高约 4 倍吞吐提升,同时恢复激进量化带来的精度损失。

AI 问答

QAD 与 PTQ 有何区别?

PTQ 是后训练量化,直接将模型权重量化到低精度;QAD 在此基础上用原始全精度模型作为教师,通过蒸馏损失指导量化学生模型训练,从而恢复激进量化造成的精度损失。

Nemotron 3.5 Lightning NVFP4 的模型大小和吞吐表现如何?

模型从 66GB 的全精度检查点压缩至 22GB,可带来最高约 4 倍的吞吐量提升,同时保持精度。

如何复现该流程?

可使用 NVIDIA Model Optimizer 对 Hugging Face 模型执行 PTQ 量化,再参考端到端 QAD 示例进行蒸馏训练,涉及校准数据、序列长度和量化配方等配置。

打开原文

更多资讯

Ctenophores Aren’t Just Beautiful. They’re Biological Wonders.Quanta Magazine · 09/16 23:56Steam Frame 起售价 1059 美元Solidot · 09/15 14:59SDL3 移植到 HarmonyOS / OpenHarmonySolidot · 09/16 16:57超越代币化:让RWA在链上真正有用金色财经 · 09/16 16:39牛市的钱:是熊市里守出来的金色财经 · 09/15 19:04Opus 5.2深夜上线 RSI真来了?金色财经 · 09/15 11:43美国军方首次证实在太空部署了武器Solidot · 09/15 16:07Mozilla 报告称中国开放权重模型与美国前沿模型仅相差 4.4 个月Solidot · 09/16 18:30当AI能解千禧难题,再次证明答案不再是门槛人人都是产品经理 · 09/15 09:44高瓴系 CFO 往事:一代顶级机构年轻人的迁徙与突围人人都是产品经理 · 09/16 09:329月21日,深圳前海!聊聊工业AI与生态共创的下一步量子位 · 09/15 13:20XCancel 服务再次下线Solidot · 09/15 14:20AWS 称无法恢复中东部分可用区资源和数据的访问Solidot · 09/16 23:11Mistral 与 Mozilla 合作推出 Firefox Smart WindowSolidot · 09/16 18:53项目汇报怎么讲,才能让领导看见你的价值?人人都是产品经理 · 09/16 11:32AI 产品经理怎么入行?岗位方向、核心能力与转型路径一次讲清人人都是产品经理 · 09/15 08:54担心代码被拿去训练!英伟达:限制员工使用 Claude;一汽将成广汽第二大股东!南北丰田拟合并;苹果回应「iPhone 18 Pro破发」雷峰网 · 09/15 08:23让AI真正赋能企业(初探)人人都是产品经理 · 09/15 17:20场景越多 ≠ 产品越好,:从抽象价值到真实生活的定义结构人人都是产品经理 · 09/15 11:58被英伟达点名的杭州团队,补上了AI for Science的「最后一公里」量子位 · 09/16 11:40Anthropic CEO自爆行业黑幕金色财经 · 09/15 19:37字节跳动CEO梁汝波:豆包、飞书与火山引擎整合后 将加大企业市场投入雷峰网 · 09/15 11:45“极端”空头压境 美联储周三不加息就是最大意外金色财经 · 09/16 08:22穿透查询怎样升级为穿透管控?人人都是产品经理 · 09/15 14:24派早报:豆包发布手机助手消费者版,绿联发布首款雷电 5 显卡坞等少数派 · 09/15 08:06夜晚睡眠光照太亮可能会损伤心脏Solidot · 09/16 00:45Cloudflare将每天90亿次请求的JavaScript CDN迁移到其开发者平台InfoQ 中文 · 09/16 17:10产品经理的体面,是一块不能失守的 “括约肌”人人都是产品经理 · 09/15 16:09旧消费品,正长出新生意人人都是产品经理 · 09/15 11:20比 MEGA Home 便宜 14 万!理想 i9 Home 上市定价 36.98 万元,六座旗舰变天了爱范儿 / APPSO · 09/16 23:21