Hugging Face Blog 发布于 07/23 08:00

Bringing Nunchaku 4-bit Diffusion Inference to Diffusers

(翻译)将 Nunchaku 4-bit 扩散推理引入 Diffusers

查看原文

资讯摘要

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

AI 摘要

Hugging Face 宣布 Diffusers 现支持 Nunchaku Lite 4-bit 扩散推理,可直接加载 SVDQuant 量化检查点,无需自定义流水线或本地 CUDA 编译。基于 W4A4 量化与融合内核,可在 Blackwell GPU 上实现约 30% 加速,结合 torch.compile 可达 1.8 倍,并最高节省约 50% 显存。

AI 问答

Nunchaku Lite 与原始 Nunchaku 引擎有什么不同?

Nunchaku Lite 是 Diffusers 中的新集成路径,无需自定义 pipeline 或单独推理引擎,可直接加载 Nunchaku 风格检查点;相比原始 Nunchaku 引擎,没有架构专属融合内核,速度提升约 30%,但显存节省水平相同。

NVFP4 精度检查点支持哪些 GPU?

NVFP4 检查点需要 NVIDIA Blackwell GPU(RTX 50 系列、RTX PRO 6000、B200)。更早的 GPU 应使用 INT4 变体。

使用 Nunchaku Lite 后还能配合哪些优化?

可配合 torch.compile、bitsandbytes NF4 量化文本编码器、CPU offload 等优化,进一步提升推理速度并降低显存占用。

打开原文

更多资讯

分析师:四大关键因素驱动 Robinhood 链快速增长金色财经 · 09/15 17:27抖音上线 “免费短剧” App,短剧赛道再添一员猛将人人都是产品经理 · 09/16 10:20DeepSeek-V4.1-Flash 的最佳 Harness 搭档,我觉得可能是 Claude Code人人都是产品经理 · 09/16 17:23HTTP 新增 QUERY 方法:有人叫好,也有人质疑“这不就是 GET?”InfoQ 中文 · 09/15 21:00商用割草机器人完成数千万融资,用L4级无人驾驶重构高尔夫草坪运维|硬氪首发36氪 · 09/16 10:00让AI真正赋能企业(初探)人人都是产品经理 · 09/15 17:20GPT-6 Sol要来了?OpenAI本周或迎“发布狂潮”金色财经 · 09/16 13:17前OpenAI后训练VP回应陶哲轩:说AI毁了数学,可能还是太小瞧AI了量子位 · 09/15 13:39耐克和lululemon双双失速,运动品牌进入碎片化时代人人都是产品经理 · 09/15 11:40CLARITY闯关失败 加密市场闻声而动 政策空白谁填补金色财经 · 09/16 15:26黄仁勋再谈AI危险论:中国会成为全球开源重要力量金色财经 · 09/16 17:23月之暗面:网传创始人及员工信息系恶意造谣;OpenAI 放弃今年上市;iPhone Duo炒到9万,黄牛贷款欲囤货|AI周报InfoQ 中文 · 09/16 00:07WorkBuddy + 美图设计室,在对话框里就能解决办公设计任务?人人都是产品经理 · 09/15 08:57月下载暴增366%,上海真人社交公司切入东南亚AI陪伴,AI角色也能“奔现”人人都是产品经理 · 09/16 14:44圆桌:CVC的全面崛起 | 36氪 2026产业未来大会36氪 · 09/15 16:59OpenAI 总裁:AGI 已经发生金色财经 · 09/15 22:25Scaling Federated Learning Across Docker, Kubernetes, and Slurm with NVIDIA FLARENVIDIA Technical Blog · 09/15 23:00亚太唯一!腾讯云首次入选IDC MarketScape 全球托管边缘服务领导者类别雷峰网 · 09/15 17:24Python 拥抱 RISC-V:CPython 正式纳入 Tier 3 平台InfoQ 中文 · 09/15 22:34AI大模型工场2026 AI产业生态大会今日举办,大咖同台共探智能生长与产业共生量子位 · 09/16 16:51YC 最值钱的这 20家公司,没有一家来自最近5年人人都是产品经理 · 09/15 10:39字节跳动CEO梁汝波:豆包、飞书与火山引擎整合后 将加大企业市场投入雷峰网 · 09/15 11:45OpenAI 总裁最新采访:现在所有人对 AI 的预测,大概率都是错的人人都是产品经理 · 09/15 16:19地平线第1500万颗征程芯片搭载大众 ID. AURA T6,HSD V2.1 即将推出量子位 · 09/15 21:32量子位2026人工智能年度榜单,正式启动!量子位 · 09/16 12:16AWS 称无法恢复中东部分可用区资源和数据的访问Solidot · 09/16 23:11AI风口之下,明星们又想“挤上”牌桌了人人都是产品经理 · 09/15 09:15英伟达开始限制Claude使用了金色财经 · 09/15 12:37高瓴系 CFO 往事:一代顶级机构年轻人的迁徙与突围人人都是产品经理 · 09/16 09:32产品已批量进入全球头部Tier 1产线,「知来具身」要为工业场景打造“开箱即用”的泛化机器人36氪 · 09/16 10:12