QAH 与常见的 QAT 有何不同?
QAH 从原始未压缩的全精度模型蒸馏学生,而不是像 QAT 那样在量化模型上继续用任务损失微调;KL 散度蒸馏使训练更稳定,达到峰值后不会出现 QAT 那样的能力崩塌。
(翻译)量化感知修复:性能超越全精度原版的压缩 4 比特模型

A Blog post by Multiverse Computing on Hugging Face
Multiverse Computing提出量化感知修复(QAH)方法,用于恢复经结构压缩和4比特量化的大模型。它直接以原始未压缩模型为教师,通过KL散度蒸馏学生模型,而非从已恢复的检查点蒸馏。在将GPT-OSS 120B压缩至60B并量化为MXFP4后,模型在9项基准中7项超过自身bfloat16版本,且训练更快、更稳定,显著降低部署成本。
QAH 从原始未压缩的全精度模型蒸馏学生,而不是像 QAT 那样在量化模型上继续用任务损失微调;KL 散度蒸馏使训练更稳定,达到峰值后不会出现 QAT 那样的能力崩塌。
在将 GPT-OSS 120B 压缩到 60B 并量化为 MXFP4 后,QAH 模型在 9 项基准的 7 项上超过自身 bfloat16 版本,还在 LiveCodeBench 上超过了 120B 教师模型。
4 比特 QAH 模型的权重内存约为 bfloat16 版本的 1/4,参数为教师的 1/2,可在更小硬件上运行;同时无需像 QAT 那样严格早停,训练充分后也能安全部署。
YC 最值钱的这 20家公司,没有一家来自最近5年
AI不断进步 不得不把才华埋葬在昨天Denuvo 起诉黑客违反 DMCA 反规避条款
美团发布“手艺人Agent”,发型师可“吩咐”AI小帮手打理线上作品
AI 产品经理怎么入行?岗位方向、核心能力与转型路径一次讲清
510万一张!携程上架太空旅行船票:已有681人购买,还得自己买保险;娃哈哈因拖欠员工公积金被查封办公楼;华为放权!问界将由赛力斯主导
这种国民鱼一直被低估、被当廉价鱼!现在才知道钙和 DHA 这么多!快试试
碧桂园服务与支付宝全面深化合作,共筑“智慧物业”数字化新标杆
工作流可以自我进化了,英伟达开源 SoL-Pi,每小时省13.5刀!Build an AI-powered product tagging system with Amazon SageMaker serverless model customization
AI 负责创造,人来干脏活,这事儿能否停一下?圆桌:跃迁·AI深流,价值跃升——AI深水时代,从模型竞逐到产业价值涌现 | 36氪 2026产业未来大会支付宝 xUI -- “阿宝”背后的 Agentic 终端交互引擎AI大模型工场2026 AI产业生态大会今日举办,大咖同台共探智能生长与产业共生
Arc主网上线 生态内有哪些项目?
WorkBuddy + 美图设计室,在对话框里就能解决办公设计任务?
派早报:Steam Frame 开启预购、WPS 多端支持 Markdown 等
潘功胜最新文章:深刻认识中国金融结构变迁(全文)
旧消费品,正长出新生意
Your Agent Aced the Task. Will It Do It Again?企业案例分享:玉盘量智-离子阱量子计算芯片化集成工程实践 | 36氪 2026产业未来大会
“裁判”不想给阿莫迪吹暂停从前沿技术到产业资本,2026产业未来大会看见「深水之上」
清晰法案投票失败 后续还有机会吗?
Dense vs. MoE Models: Active Parameters, Throughput, and When to Choose Each
读完斯坦福116页AI实施手册,我最大的感受是:别再盯着模型了
HTTP 新增 QUERY 方法:有人叫好,也有人质疑“这不就是 GET?”
Meta 打造“组织第二大脑”智能体的设计思路手机替我跑了一整套流程!我就说了一句话,AI执行了100步