arXiv cs.AI 发布于 09/12 12:00

Understanding LoRA Rank Trade-offs in Diffusion Model Fine-Tuning

(翻译)理解扩散模型微调中的LoRA秩权衡

查看原文

资讯摘要

Abstract page for arXiv paper 2609.10656: Understanding LoRA Rank Trade-offs in Diffusion Model Fine-Tuning

AI 摘要

arXiv论文研究扩散模型微调时LoRA秩的选择问题。作者在CIFAR-10上用DDPM U-Net对比秩2、4、8、16、32,固定优化设置,报告FID、可训练参数量、运行时间与显存占用,并用更长预算的DDPM运行和Tiny DiT骨干验证趋势。结果显示秩4取得最佳DDPM FID(124.1380),秩8接近(124.2136),更高秩收益有限但适配成本更大,支持中小秩作为固定训练预算下的实用默认选择。

AI 问答

论文对比了哪些LoRA秩?

在CIFAR-10的DDPM U-Net上对比了秩2、4、8、16、32,并保持固定优化设置。

哪个秩在DDPM上取得最佳FID?

秩4的FID最佳,为124.1380,秩8为124.2136,二者接近。

论文的主要结论是什么?

更高秩带来的收益有限而适配成本更大,因此在固定训练预算下,中小秩是实用的默认选择;该趋势在延长训练预算的DDPM和Tiny DiT骨干上得到验证。

打开原文

更多资讯

AWS 称无法恢复中东部分可用区资源和数据的访问Solidot · 09/16 23:11被AI放大的光学「戏份」,让「配角」舜宇的生意越做越大雷峰网 · 09/16 18:33AI 产品经理怎么入行?岗位方向、核心能力与转型路径一次讲清人人都是产品经理 · 09/15 08:54渣打给ARB十美元目标价靠什么?金色财经 · 09/16 21:36豆包工作还想反超WorkBuddy?人人都是产品经理 · 09/16 17:51Optimizing cost and latency with Amazon Bedrock prompt cachingAWS Machine Learning Blog · 09/16 00:18YC 最值钱的这 20家公司,没有一家来自最近5年人人都是产品经理 · 09/15 10:39圆桌:中国之光成为新共识| 36氪 2026产业未来大会36氪 · 09/15 17:15特朗普“一再让步”:美国加密法案仍未过关金色财经 · 09/16 17:18Xspark AI 丁文伯:触觉替代不了视觉,但机器人需要一套自己的“脊髓” |物理AI 50人雷峰网 · 09/15 15:52「沃什时代」首次加息要来了?华尔街算好了三种剧本金色财经 · 09/16 20:25How NVIDIA Groq 3 LPX Deterministic Execution Drives Power-Efficient High-Interactivity Inference on NVIDIA Vera RubinNVIDIA Technical Blog · 09/16 00:55支付宝 xUI -- “阿宝”背后的 Agentic 终端交互引擎InfoQ 中文 · 09/16 02:277名博士生仅用3个月从零训练7B大模型:代码+数据+训练日志全公开量子位 · 09/15 10:17电商对账的设计逻辑:四层核对,逐层下钻人人都是产品经理 · 09/16 14:36担心代码被拿去训练!英伟达:限制员工使用 Claude;一汽将成广汽第二大股东!南北丰田拟合并;苹果回应「iPhone 18 Pro破发」雷峰网 · 09/15 08:23工作流可以自我进化了,英伟达开源 SoL-Pi,每小时省13.5刀!雷峰网 · 09/15 11:02Dense vs. MoE Models: Active Parameters, Throughput, and When to Choose EachNVIDIA Technical Blog · 09/16 01:00基元律动与无问芯穹达成战略合作,推进高质量Token供给与应用雷峰网 · 09/16 16:20华为坤灵升级“4+10+N”场景化方案,发布“经纬计划”和50个样板点雷峰网 · 09/16 17:27梁文锋CFO到位!投过智谱MiniMax量子位 · 09/15 21:53英伟达开源 IMO 金牌配方:不仅是「人海战术」,1.5TB 显存做实 AI「 推恩令」?雷峰网 · 09/15 17:38510万一张!携程上架太空旅行船票:已有681人购买,还得自己买保险;娃哈哈因拖欠员工公积金被查封办公楼;华为放权!问界将由赛力斯主导雷峰网 · 09/16 08:31抖音上线 “免费短剧” App,短剧赛道再添一员猛将人人都是产品经理 · 09/16 10:20美股太贵 该加仓新兴市场吗?金色财经 · 09/16 18:57把记忆交给CPU,大模型会变快量子位 · 09/16 11:07奇安信斩获国家信息安全漏洞库CNNVD两项重磅荣誉雷峰网 · 09/16 10:36Build an AI-powered product tagging system with Amazon SageMaker serverless model customizationAWS Machine Learning Blog · 09/16 00:11英国殖民之前的澳大利亚原居民人口约 222 万Solidot · 09/15 23:17黄仁勋再谈AI危险论:中国会成为全球开源重要力量金色财经 · 09/16 17:23