InfoQ 中文 发布于 09/16 07:00

缓存不该困在一台服务器里

查看原文

资讯摘要

从 MLPerf 新增 KV Cache 测试,看焱融 ContextBox 如何打通跨节点复用

AI 摘要

InfoQ 中文报道,MLPerf Storage v3.0 新增 KV Cache 测试项,将存储考察从训练数据供给延伸到推理运行时状态。文章以焱融科技 F9000X、YRCache 与 ContextBox 为例,分析 KV Cache 跨节点复用的三重挑战:状态严苛匹配、显存容量有限与节点孤立,并介绍了 G3.5 共享缓存层的工程思路与“以存换算”的成本权衡。

AI 问答

MLPerf Storage v3.0 新增了什么测试项?

新增 KVCache 测试项,模拟多轮会话中的 KV Cache 整体写入与回读,并报告模拟输出 Token 吞吐、读写带宽和 P95 读取时延。

KV Cache 跨节点复用面临哪些主要挑战?

一是内容相同不等于缓存可用,提示词、模型版本或精度格式稍有不一致缓存即失效;二是 GPU 显存有限,缓存容易被淘汰或换出;三是节点孤立,缺少跨节点共享机制与缓存感知调度。

焱融的 ContextBox 是怎样定位和配置的?

它是独立的共享缓存一体机,在体系中定义为 G3.5 层,搭载最多 26 块 U.2 NVMe SSD 与 4 块 NVIDIA BlueField-3 双口 200Gb DPU,通过 RDMA/RoCE 提供 120GB/s 实测带宽,单台可支撑 8 节点集群高并发吞吐。

打开原文

更多资讯

美国加密新规又黄了金色财经 · 09/16 20:21企业该买模型还是养上下文?人人都是产品经理 · 09/16 10:3936氪项目新势榜:不看包装,只看项目真实进展36氪 · 09/15 19:18贝森特回购落空与通胀重压 美联储加息或全面开启金色财经 · 09/15 11:06Optimizing cost and latency with Amazon Bedrock prompt cachingAWS Machine Learning Blog · 09/16 00:18梁文锋CFO到位!投过智谱MiniMax量子位 · 09/15 21:53Arc主网上线 生态内有哪些项目?金色财经 · 09/16 17:39HTTP 新增 QUERY 方法:有人叫好,也有人质疑“这不就是 GET?”InfoQ 中文 · 09/15 21:002nm天玑9600 Pro,把旗舰SoC竞争推向「融合计算」雷峰网 · 09/16 18:02亚太唯一!腾讯云首次入选IDC MarketScape 全球托管边缘服务领导者类别雷峰网 · 09/15 17:24夜晚睡眠光照太亮可能会损伤心脏Solidot · 09/16 00:4536氪研究院 | 2026年北京市OPC创业者研究报告36氪 · 09/15 16:30AMC 炮轰 Robinhood:股票归谁做主?金色财经 · 09/15 21:18Opus 5.2深夜上线 RSI真来了?金色财经 · 09/15 11:43一边喊停一边敲钟:硅谷AI巨头到底在怕什么金色财经 · 09/16 10:53超越代币化:让RWA在链上发挥实用价值金色财经 · 09/15 12:11从200亿收购失败到650亿IPO:Figma如何用“协作”颠覆设计帝国人人都是产品经理 · 09/16 11:30QQ 飞车 Agentic 研发转型过程中的Loop EngineeringInfoQ 中文 · 09/16 01:24社区速递 158 | 便宜耐造的副厂手柄与大学宿舍里那些相见恨晚的装备少数派 · 09/15 17:00美股太贵 该加仓新兴市场吗?金色财经 · 09/16 18:57圆桌:探路·产业分工的新图谱,看到新未来——国家力量如何转化为产业价值 | 36氪 2026产业未来大会36氪 · 09/15 17:39让AI真正赋能企业(初探)人人都是产品经理 · 09/15 17:20地平线第1500万颗征程芯片搭载大众 ID. AURA T6,HSD V2.1 即将推出量子位 · 09/15 21:32我的“一人公司”,是怎么搞钱的?人人都是产品经理 · 09/15 08:56日本百岁老人人数首次超过 10 万人Solidot · 09/16 13:35Fedora 45 Beta 释出Solidot · 09/16 15:26手机替我跑了一整套流程!我就说了一句话,AI执行了100步量子位 · 09/15 20:47AI 产品经理怎么入行?岗位方向、核心能力与转型路径一次讲清人人都是产品经理 · 09/15 08:54从入门到精通,一篇文章带你入门产品经理!(2026 年最新版)人人都是产品经理 · 09/16 08:53豆包 2.1 Pro模型更新,已接入豆包工作雷峰网 · 09/16 14:01