NVIDIA Technical Blog 发布于 08/13 02:23

Serve Qwen3.8-2.4T-A95B, a 2.4T-Parameter Model, with Configurable Reasoning on NVIDIA GB300 NVL72

(翻译)在 NVIDIA GB300 NVL72 上提供 Qwen3.8-2.4T-A95B(2.4T 参数模型)的可配置推理服务

查看原文

资讯摘要

Alibaba released the open weights for Qwen3.8-2.4T-A95B (Qwen3.8-Max), its largest open-weight model, bringing near-frontier capabilities to the open ecosystem.

AI 摘要

阿里巴巴开源了 Qwen3.8-2.4T-A95B(Qwen3.8-Max)权重,这是其最大的开源模型,总参数 2.4T,每个 token 激活 95B,采用细粒度 MoE 与全注意力/线性注意力混合架构,支持最长 100 万 token 上下文和 128K 输出。NVIDIA 与开源生态合作,在 GB300 NVL72 上实现每 GPU 每秒超 4K tokens、每用户每秒超 350 tokens 的 FP8 推理吞吐,并支持 SGLang、vLLM、NIM 等部署。

AI 问答

Qwen3.8-2.4T-A95B 的总参数量和每个 token 激活的参数量分别是多少?

该模型总参数量为 2.4T,每个 token 激活 95B 参数。

该模型在 NVIDIA GB300 NVL72 上实现了怎样的推理性能?

无需额外调优即可实现每 GPU 每秒超过 4K tokens、每用户每秒超过 350 tokens 的吞吐量(FP8 精度)。

开发者可以通过哪些推理栈或工具部署或微调该模型?

支持 SGLang、vLLM、NVIDIA Dynamo 和 NVIDIA NIM 等推理栈,也可使用 NVIDIA NeMo AutoModel 进行后训练微调。

打开原文

更多资讯

圆桌:生长·资方投资的新方程——穿越周期的耐心与价值 | 36氪 2026产业未来大会36氪 · 09/15 17:0636氪研究院 | 2026年北京市OPC创业者研究报告36氪 · 09/15 16:30担心代码被拿去训练!英伟达:限制员工使用 Claude;一汽将成广汽第二大股东!南北丰田拟合并;苹果回应「iPhone 18 Pro破发」雷峰网 · 09/15 08:23牛市的钱:是熊市里守出来的金色财经 · 09/15 19:04现在参与以太坊原生质押为什么要先排队一个月?金色财经 · 09/16 21:24从 Trace 到规模化实时评估:面向生产流量的 Agent 可观测实践|QCon上海InfoQ 中文 · 09/15 18:08香港第一、全球第八:OSL进化背后的数字资产新格局金色财经 · 09/16 21:42高通技术公司携手中兴努比亚和豆包手机助手,共同推动智能手机迈入个人AI新时代量子位 · 09/16 16:18就业率砍半,年轻人靠什么翻盘?AI时代,这三点越早做越好人人都是产品经理 · 09/15 16:12AI 减速还是不减速:一场周末点燃的行业与政府对垒金色财经 · 09/15 12:06GPT Image 2.5 对比实测:变化与局限人人都是产品经理 · 09/15 09:46从前沿技术到产业资本,2026产业未来大会看见「深水之上」36氪 · 09/15 15:04具透 | Liquid Glass 设计改进、性能提升……iPadOS 27 中值得一瞥的新特性少数派 · 09/16 15:00清晰法案投票失败 后续还有机会吗?金色财经 · 09/16 14:34豆包工作打出“团队Agent”牌,Workbuddy、千问会跟吗?人人都是产品经理 · 09/16 14:31强化学习大本营新作:如何破解「学新忘旧」困局雷峰网 · 09/15 10:18超级智能体“迪迪虾”上车,比亚迪携手阿里云推进智能座舱升级雷峰网 · 09/15 11:58GPT-6 Sol要来了?OpenAI本周或迎“发布狂潮”金色财经 · 09/16 13:17我的“一人公司”,是怎么搞钱的?人人都是产品经理 · 09/15 08:56Xspark AI 丁文伯:触觉替代不了视觉,但机器人需要一套自己的“脊髓” |物理AI 50人雷峰网 · 09/15 15:52只会搜关键词还不够,Agent 需要一套更聪明的本地搜索人人都是产品经理 · 09/15 16:17物理 AI 的大结果何时到来?人人都是产品经理 · 09/16 17:25当我怀念旧版 Edge 浏览器时,我在怀念什么?少数派 · 09/16 10:38英国殖民之前的澳大利亚原居民人口约 222 万Solidot · 09/15 23:1736氪项目新势榜:不看包装,只看项目真实进展36氪 · 09/15 19:18Build an AI-powered product tagging system with Amazon SageMaker serverless model customizationAWS Machine Learning Blog · 09/16 00:11被AI放大的光学「戏份」,让「配角」舜宇的生意越做越大雷峰网 · 09/16 18:33穿透查询怎样升级为穿透管控?人人都是产品经理 · 09/15 14:24B站AI无限竞技场今日上线!全球百大AI模型同场竞技,GPT-6高居榜首量子位 · 09/16 14:23Dense vs. MoE Models: Active Parameters, Throughput, and When to Choose EachNVIDIA Technical Blog · 09/16 01:00