Hugging Face Blog 发布于 08/18 03:46

Same Cluster, 33 Points More Utilization: What Changed Was the Order

(翻译)同一集群,利用率提升33个百分点:改变的是顺序

查看原文

资讯摘要

A Blog post by Dharma-AI on Hugging Face

AI 摘要

本文介绍了一个约束感知的 GPU 分配器,并在相同硬件与工作负载下与 FIFO 调度器进行七场景基准测试。结果显示,GPU 利用率最高提升 33 个百分点,优先级加权产出最高提升 105%。作者认为关键不是硬件,而是分配决策顺序:将实时推理需求视为动态曲线,并按优先级在全局时间范围内安排批处理作业。

AI 问答

与 FIFO 相比,约束感知分配器在测试中最高将 GPU 利用率提升了多少?

在训练密集型场景中,利用率从 53.6% 提升到 87.0%,提升 33 个百分点。

分配器如何应对实时推理需求的波动?

它将实时推理需求视为随时间变化的曲线而非固定预留上限,在低谷期让批处理作业使用 GPU,并通过较高的实时需求未满足惩罚来保障可用性。

为什么作者认为仅看利用率不够?

因为在 64 个 GPU、30 个任务的规模测试中,FIFO 与分配器的利用率和吞吐量相同,但分配器的优先级加权产出仍高出 15.9%。

打开原文

更多资讯

CLARITY折戟 多方博弈撕裂行业预期 市场怎么看?金色财经 · 09/16 10:33苹果Siri AI上线;豆包手机助手消费版正式发布;塔克拉玛干沙漠发现两处大型地下水水源果壳网 · 09/15 20:1558秒出杯,能拉花的咖啡机器人,在全球70国卖出600万杯36氪 · 09/15 10:21贝森特回购落空与通胀重压 美联储加息或全面开启金色财经 · 09/15 11:06AI for everyone in every languageGoogle AI Blog · 09/16 00:00视频号评论区小蓝词使用指南人人都是产品经理 · 09/16 10:27PS2 Fat 使用的安全芯片在时隔 26 年被破解Solidot · 09/16 23:54Introducing Gemini 3.8 Live and 3.8 Live Extended ThinkingGoogle DeepMind Blog · 09/16 01:05别闹,几粒盐就能立起高脚杯?你是不是用胶水了?果壳网 · 09/15 14:15找不到小红书爆文选题?去淘宝差评区抄!人人都是产品经理 · 09/15 11:29Announcing instance preference lists for Amazon SageMaker AI training jobsAWS Machine Learning Blog · 09/16 00:01支付宝 xUI -- “阿宝”背后的 Agentic 终端交互引擎InfoQ 中文 · 09/16 02:27展翼之后,三折叠再次进化:HUAWEI Mate XT 2 非凡大师深度体验评测果壳网 · 09/16 08:34长期利率为何不愿下跌?金色财经 · 09/15 18:04圆桌:CVC的全面崛起 | 36氪 2026产业未来大会36氪 · 09/15 16:59AI健康走进百姓餐桌,蚂蚁阿福推出AI饮食分功能雷峰网 · 09/16 15:20不止一颗CPU?智能体经济时代,Arm对算力平台有了新理解雷峰网 · 09/15 09:58强化学习大本营新作:如何破解「学新忘旧」困局雷峰网 · 09/15 10:18字节6年,如何一步步走上带20人团队的leader人人都是产品经理 · 09/16 14:392nm天玑9600 Pro,把旗舰SoC竞争推向「融合计算」雷峰网 · 09/16 18:02AI 产品经理怎么入行?岗位方向、核心能力与转型路径一次讲清人人都是产品经理 · 09/15 08:54地平线第1500万颗征程芯片搭载大众 ID. AURA T6,HSD V2.1 即将推出量子位 · 09/15 21:32Stella:“显化”想要的人生,60天35万美元月收入人人都是产品经理 · 09/16 14:09语义翻译的操作日常:把”我觉得不对”变成”机器能查”人人都是产品经理 · 09/16 09:52Uniswap v4上的恶意Hooks金色财经 · 09/15 12:43飞书与豆包工作合体后首亮相:Agent 能进群,还能帮你写周报、做PPTInfoQ 中文 · 09/16 02:37以太坊 2026 年第二季度报告金色财经 · 09/15 17:06Steam Frame 起售价 1059 美元Solidot · 09/15 14:59字节跳动CEO梁汝波:豆包、飞书与火山引擎整合后 将加大企业市场投入雷峰网 · 09/15 11:45圆桌:跃迁·AI深流,价值跃升——AI深水时代,从模型竞逐到产业价值涌现 | 36氪 2026产业未来大会36氪 · 09/15 17:23