Hugging Face Blog 发布于 08/25 19:39

Quantization-Aware Healing: a compressed, 4-bit model that outperforms its full-precision original

(翻译)量化感知修复:性能超越全精度原版的压缩 4 比特模型

查看原文

资讯摘要

A Blog post by Multiverse Computing on Hugging Face

AI 摘要

Multiverse Computing提出量化感知修复(QAH)方法,用于恢复经结构压缩和4比特量化的大模型。它直接以原始未压缩模型为教师,通过KL散度蒸馏学生模型,而非从已恢复的检查点蒸馏。在将GPT-OSS 120B压缩至60B并量化为MXFP4后,模型在9项基准中7项超过自身bfloat16版本,且训练更快、更稳定,显著降低部署成本。

AI 问答

QAH 与常见的 QAT 有何不同?

QAH 从原始未压缩的全精度模型蒸馏学生,而不是像 QAT 那样在量化模型上继续用任务损失微调;KL 散度蒸馏使训练更稳定,达到峰值后不会出现 QAT 那样的能力崩塌。

QAH 模型在哪些基准上超过了原版?

在将 GPT-OSS 120B 压缩到 60B 并量化为 MXFP4 后,QAH 模型在 9 项基准的 7 项上超过自身 bfloat16 版本,还在 LiveCodeBench 上超过了 120B 教师模型。

QAH 的实际部署优势是什么?

4 比特 QAH 模型的权重内存约为 bfloat16 版本的 1/4,参数为教师的 1/2,可在更小硬件上运行;同时无需像 QAT 那样严格早停,训练充分后也能安全部署。

打开原文

更多资讯

YC 最值钱的这 20家公司,没有一家来自最近5年人人都是产品经理 · 09/15 10:39AI不断进步 不得不把才华埋葬在昨天金色财经 · 09/15 10:14Denuvo 起诉黑客违反 DMCA 反规避条款Solidot · 09/16 23:27美团发布“手艺人Agent”,发型师可“吩咐”AI小帮手打理线上作品雷峰网 · 09/15 23:07AI 产品经理怎么入行?岗位方向、核心能力与转型路径一次讲清人人都是产品经理 · 09/15 08:54510万一张!携程上架太空旅行船票:已有681人购买,还得自己买保险;娃哈哈因拖欠员工公积金被查封办公楼;华为放权!问界将由赛力斯主导雷峰网 · 09/16 08:31这种国民鱼一直被低估、被当廉价鱼!现在才知道钙和 DHA 这么多!快试试果壳网 · 09/15 22:15碧桂园服务与支付宝全面深化合作,共筑“智慧物业”数字化新标杆雷峰网 · 09/16 16:48工作流可以自我进化了,英伟达开源 SoL-Pi,每小时省13.5刀!雷峰网 · 09/15 11:02Build an AI-powered product tagging system with Amazon SageMaker serverless model customizationAWS Machine Learning Blog · 09/16 00:11AI 负责创造,人来干脏活,这事儿能否停一下?InfoQ 中文 · 09/15 08:08圆桌:跃迁·AI深流,价值跃升——AI深水时代,从模型竞逐到产业价值涌现 | 36氪 2026产业未来大会36氪 · 09/15 17:23支付宝 xUI -- “阿宝”背后的 Agentic 终端交互引擎InfoQ 中文 · 09/16 02:27AI大模型工场2026 AI产业生态大会今日举办,大咖同台共探智能生长与产业共生量子位 · 09/16 16:51探秘柬埔寨,千年吴哥窟少数派 · 09/16 17:33Arc主网上线 生态内有哪些项目?金色财经 · 09/16 17:39WorkBuddy + 美图设计室,在对话框里就能解决办公设计任务?人人都是产品经理 · 09/15 08:57派早报:Steam Frame 开启预购、WPS 多端支持 Markdown 等少数派 · 09/16 08:39潘功胜最新文章:深刻认识中国金融结构变迁(全文)金色财经 · 09/16 13:28旧消费品,正长出新生意人人都是产品经理 · 09/15 11:20Your Agent Aced the Task. Will It Do It Again?Hugging Face Blog · 09/16 00:00企业案例分享:玉盘量智-离子阱量子计算芯片化集成工程实践 | 36氪 2026产业未来大会36氪 · 09/15 18:33“裁判”不想给阿莫迪吹暂停金色财经 · 09/15 13:07从前沿技术到产业资本,2026产业未来大会看见「深水之上」36氪 · 09/15 15:04清晰法案投票失败 后续还有机会吗?金色财经 · 09/16 14:34Dense vs. MoE Models: Active Parameters, Throughput, and When to Choose EachNVIDIA Technical Blog · 09/16 01:00读完斯坦福116页AI实施手册,我最大的感受是:别再盯着模型了人人都是产品经理 · 09/15 12:14HTTP 新增 QUERY 方法:有人叫好,也有人质疑“这不就是 GET?”InfoQ 中文 · 09/15 21:00Meta 打造“组织第二大脑”智能体的设计思路InfoQ 中文 · 09/15 19:21手机替我跑了一整套流程!我就说了一句话,AI执行了100步量子位 · 09/15 20:47