TensorRT Edge-LLM 在 MLPerf Edge Agentic 基准测试中的成绩如何？
在单台 Jetson AGX Thor 开发者套件上运行 Qwen3.6-27B，输出吞吐 52.33 tokens/s，完成全部 1,007 轮性能负载用时 24 分 36 秒，比 llama.cpp 参考提交的 2 小时 37 分钟快 6.4 倍。
TensorRT Edge-LLM Completes the MLPerf Edge Agentic Benchmark 6.4x Faster on Jetson AGX Thor
（翻译）TensorRT Edge-LLM 在 Jetson AGX Thor 上以 6.4 倍速度完成 MLPerf Edge Agentic 基准测试
资讯摘要
AI agents are moving from cloud data centers to vehicles, robots, and other edge devices. Unlike a chatbot that answers a single prompt, an agent works through…
AI 摘要
NVIDIA 技术博客介绍 TensorRT Edge-LLM 在 MLPerf Inference v6.1 Edge Agentic 基准中的表现：在单台 Jetson AGX Thor 上运行 Qwen3.6-27B，输出吞吐 52.33 tokens/s，24 分 36 秒完成 1,007 轮负载，比 llama.cpp 参考提交快 6.4 倍。加速来自 NVFP4 量化、树状多 token 预测和 KV 缓存复用。
AI 问答
实现加速的关键技术有哪些？
使用 NVFP4 量化降低权重和激活的显存占用，采用树状多 token 预测（MTP）减少目标模型生成步数，并通过 KV 缓存复用避免重复预填充长上下文。
如何复现该 MLPerf Edge Agentic 基准测试？
使用 TensorRT Edge-LLM 的 release/0.9.1-mlpinf 分支，下载校准后的 Qwen3.6-27B NVFP4 checkpoint，按照 mlperf/README.md 构建 TensorRT 引擎，启动 OpenAI 兼容服务，再使用 MLCommons endpoint harness 运行配置。
更多资讯
CLARITY法案为何倒在参议院门口？这主流如你所愿
Scaling Federated Learning Across Docker, Kubernetes, and Slurm with NVIDIA FLARE
510万一张！携程上架太空旅行船票：已有681人购买，还得自己买保险；娃哈哈因拖欠员工公积金被查封办公楼；华为放权！问界将由赛力斯主导
从”边卖边补”到”准备好再卖”：产品商品化的四步闭环
超越代币化：让RWA在链上发挥实用价值商用割草机器人完成数千万融资，用L4级无人驾驶重构高尔夫草坪运维｜硬氪首发
展翼之后，三折叠再次进化：HUAWEI Mate XT 2 非凡大师深度体验评测7名博士生仅用3个月从零训练7B大模型：代码+数据+训练日志全公开
关于项目交付的思考：部署是最后两公里，验收才是最后一公里
号称人类造的最后一个 AI 要来了，刷屏全网的 RSI 是什么清华稳准智能联合发布LimiX-2，结构化数据基础模型登顶国际评测榜单
个贷不良四年涨 23 倍：这门从“救大行”长出来的生意，底层逻辑是什么？横扫四榜，DM0.5 凭什么面面俱到？
“裁判”不想给阿莫迪吹暂停
从入门到精通，一篇文章带你入门产品经理！（2026 年最新版）
New insights from Google’s AI & Economy ATLAS
旧消费品，正长出新生意
CoinEx宣布体面关停：值得肯定但不该神化云岫资本合伙人宋旭文：量子计算：工程化与产业化并进，拐点将至 | 36氪 2026产业未来大会
iPhone 18 Pro & Duo 首发评测，提升最大的是「充电」和这个…36氪项目新势榜：不看包装，只看项目真实进展
CLARITY的失败 跟加密行业好坏没啥关系廉价太阳能改变世界能源格局
CLARITY折戟 多方博弈撕裂行业预期 市场怎么看？夜晚睡眠光照太亮可能会损伤心脏
AI 写了几十页 PPT，“经营分析”报告仍被批不够深入？
CoinShares Q2 挖矿季报：矿企倒贴钱退出
129亿美元卖身英伟达之后，是时候重新理解Hugging Face了和Jeff Dean押注同一方向，27岁清华助理教授创业，两个月融资数亿PS2 Fat 使用的安全芯片在时隔 26 年被破解