arXiv cs.AI 发布于 08/26 12:00

Serving Masked Diffusion LLMs: Characterization and Design Principles from Real Hardware

(翻译)服务掩码扩散大语言模型:基于真实硬件的特性分析与设计原则

查看原文

资讯摘要

Abstract page for arXiv paper 2608.23807: Serving Masked Diffusion LLMs: Characterization and Design Principles from Real Hardware

AI 摘要

该论文在真实硬件(NVIDIA H200)上对掩码扩散语言模型的服务系统进行特征分析,发现请求难度呈离散分布,单个请求的 GPU 计算仅占墙钟时间的 24%,批处理可将吞吐量提升约 16 倍,并提出了固定填充同步批处理的批量超时规则。研究使用 LLaDA-8B-Instruct 和 D2F LoRA 适配器,在 GSM8K 和 HumanEval 上完成评测。

AI 问答

论文的主要研究对象是什么?

掩码扩散语言模型(dLLM)的服务系统,使用 LLaDA-8B-Instruct 和 D2F LoRA 适配器,在单张 NVIDIA H200 GPU 上评测。

单个请求中 GPU 计算时间占多少比例?

仅约 24% 的墙钟时间是 GPU 计算,其余主要是 CPU 端的分发开销。

批处理对吞吐量有什么影响?

当批量大小为 16 时,相比逐请求分发基线,吞吐量提升约 16 倍,主要源于摊销 CPU 分发开销。

打开原文

更多资讯

阶跃发布 StepAudio 3 ,多款语音模型登顶 Artificial Analysis 全球榜单雷峰网 · 09/15 17:50长期利率为何不愿下跌?金色财经 · 09/15 18:04黄仁勋再谈AI危险论:中国会成为全球开源重要力量金色财经 · 09/16 17:23亚太唯一!腾讯云首次入选IDC MarketScape 全球托管边缘服务领导者类别雷峰网 · 09/15 17:24展翼之后,三折叠再次进化:HUAWEI Mate XT 2 非凡大师深度体验评测果壳网 · 09/16 08:34碧桂园服务与支付宝全面深化合作,共筑“智慧物业”数字化新标杆雷峰网 · 09/16 16:48派早报:豆包发布手机助手消费者版,绿联发布首款雷电 5 显卡坞等少数派 · 09/15 08:06开学季 | 学生理财的三条建议,学生党也可以一样理财少数派 · 09/15 11:10无问芯穹联合清华、上交正式开源具身端侧推理引擎APXInf,Pi 0.5性能SOTA量子位 · 09/15 18:43Anew Labs已完成 2.9 亿美元融资,红杉中国、高瓴、IDG、五源、高榕等参与雷峰网 · 09/16 14:28圆桌:新能源:后时代的深水淘金 | 36氪 2026产业未来大会36氪 · 09/15 17:56芯视界创始人、董事长兼首席科学家鲍捷:十年产业实践,量子感知芯片为物理AI打开物质世界 "感知入口" | 2026年36氪产业未来大会36氪 · 09/15 18:15字节6年,如何一步步走上带20人团队的leader人人都是产品经理 · 09/16 14:39企业案例分享:玉盘量智-离子阱量子计算芯片化集成工程实践 | 36氪 2026产业未来大会36氪 · 09/15 18:33和Jeff Dean押注同一方向,27岁清华助理教授创业,两个月融资数亿36氪 · 09/16 15:5836氪首发 | 国内头部硅电容IDM企业融资亿元,切入AI芯片与高端光模块36氪 · 09/16 14:35牛市的钱:是熊市里守出来的金色财经 · 09/15 19:04香港第一、全球第八:OSL进化背后的数字资产新格局金色财经 · 09/16 21:42耐克、妮维雅、谷歌的警示:品类,正在误导品牌战略!人人都是产品经理 · 09/15 09:42夜晚睡眠光照太亮可能会损伤心脏Solidot · 09/16 00:45工作流可以自我进化了,英伟达开源 SoL-Pi,每小时省13.5刀!雷峰网 · 09/15 11:02旗舰SoC进入融合计算时代,天玑9600 Pro首创AI原生架构!雷峰网 · 09/15 21:01Ctenophores Aren’t Just Beautiful. They’re Biological Wonders.Quanta Magazine · 09/16 23:56圆桌:中国之光成为新共识| 36氪 2026产业未来大会36氪 · 09/15 17:15Your Agent Aced the Task. Will It Do It Again?Hugging Face Blog · 09/16 00:00只会搜关键词还不够,Agent 需要一套更聪明的本地搜索人人都是产品经理 · 09/15 16:17510万一张!携程上架太空旅行船票:已有681人购买,还得自己买保险;娃哈哈因拖欠员工公积金被查封办公楼;华为放权!问界将由赛力斯主导雷峰网 · 09/16 08:31“阿宝”交新朋友:携手比亚迪“迪迪虾”,实现车机端一句话办事雷峰网 · 09/15 16:45华为GTS让Agent学会「看着网络排障」,双防火墙难题几乎全拿下量子位 · 09/16 10:27一张GPU跑10万原子!分子之心用AI把化学反应“拍”成了电影量子位 · 09/15 17:58