论文的主要研究对象是什么?
掩码扩散语言模型(dLLM)的服务系统,使用 LLaDA-8B-Instruct 和 D2F LoRA 适配器,在单张 NVIDIA H200 GPU 上评测。
(翻译)服务掩码扩散大语言模型:基于真实硬件的特性分析与设计原则
Abstract page for arXiv paper 2608.23807: Serving Masked Diffusion LLMs: Characterization and Design Principles from Real Hardware
该论文在真实硬件(NVIDIA H200)上对掩码扩散语言模型的服务系统进行特征分析,发现请求难度呈离散分布,单个请求的 GPU 计算仅占墙钟时间的 24%,批处理可将吞吐量提升约 16 倍,并提出了固定填充同步批处理的批量超时规则。研究使用 LLaDA-8B-Instruct 和 D2F LoRA 适配器,在 GSM8K 和 HumanEval 上完成评测。
掩码扩散语言模型(dLLM)的服务系统,使用 LLaDA-8B-Instruct 和 D2F LoRA 适配器,在单张 NVIDIA H200 GPU 上评测。
仅约 24% 的墙钟时间是 GPU 计算,其余主要是 CPU 端的分发开销。
当批量大小为 16 时,相比逐请求分发基线,吞吐量提升约 16 倍,主要源于摊销 CPU 分发开销。
阶跃发布 StepAudio 3 ,多款语音模型登顶 Artificial Analysis 全球榜单
长期利率为何不愿下跌?
黄仁勋再谈AI危险论:中国会成为全球开源重要力量
亚太唯一!腾讯云首次入选IDC MarketScape 全球托管边缘服务领导者类别
展翼之后,三折叠再次进化:HUAWEI Mate XT 2 非凡大师深度体验评测
碧桂园服务与支付宝全面深化合作,共筑“智慧物业”数字化新标杆
派早报:豆包发布手机助手消费者版,绿联发布首款雷电 5 显卡坞等
开学季 | 学生理财的三条建议,学生党也可以一样理财无问芯穹联合清华、上交正式开源具身端侧推理引擎APXInf,Pi 0.5性能SOTA
Anew Labs已完成 2.9 亿美元融资,红杉中国、高瓴、IDG、五源、高榕等参与圆桌:新能源:后时代的深水淘金 | 36氪 2026产业未来大会芯视界创始人、董事长兼首席科学家鲍捷:十年产业实践,量子感知芯片为物理AI打开物质世界 "感知入口" | 2026年36氪产业未来大会
字节6年,如何一步步走上带20人团队的leader企业案例分享:玉盘量智-离子阱量子计算芯片化集成工程实践 | 36氪 2026产业未来大会和Jeff Dean押注同一方向,27岁清华助理教授创业,两个月融资数亿36氪首发 | 国内头部硅电容IDM企业融资亿元,切入AI芯片与高端光模块
牛市的钱:是熊市里守出来的
香港第一、全球第八:OSL进化背后的数字资产新格局
耐克、妮维雅、谷歌的警示:品类,正在误导品牌战略!夜晚睡眠光照太亮可能会损伤心脏
工作流可以自我进化了,英伟达开源 SoL-Pi,每小时省13.5刀!
旗舰SoC进入融合计算时代,天玑9600 Pro首创AI原生架构!
Ctenophores Aren’t Just Beautiful. They’re Biological Wonders.圆桌:中国之光成为新共识| 36氪 2026产业未来大会
Your Agent Aced the Task. Will It Do It Again?
只会搜关键词还不够,Agent 需要一套更聪明的本地搜索
510万一张!携程上架太空旅行船票:已有681人购买,还得自己买保险;娃哈哈因拖欠员工公积金被查封办公楼;华为放权!问界将由赛力斯主导
“阿宝”交新朋友:携手比亚迪“迪迪虾”,实现车机端一句话办事华为GTS让Agent学会「看着网络排障」,双防火墙难题几乎全拿下一张GPU跑10万原子!分子之心用AI把化学反应“拍”成了电影