InfoQ 中文 发布于 09/09 20:07

招商银行统一近万张AI加速卡:利用率从35%提至60%+、每百万Token推理成本降低60%

查看原文

资讯摘要

招商银行荣获 CNCF 最终用户案例研究大赛冠军,以 Kubernetes 统一 AI 训练与推理基础设施

AI 摘要

招商银行在KubeCon上海大会上介绍了其AI算力基础设施实践,通过Kubernetes及Kueue、KEDA、HAMi、Fluid等组件,实现对近万张异构加速卡训练与推理的统一调度,将加速卡利用率从35%提升至60%以上,每百万Token推理成本降低60%;并自研Twinkle框架实现5个LoRA租户共享基础模型,资源消耗降低80%。

AI 问答

招商银行是如何将AI加速卡利用率从35%提升至60%以上的?

通过Kubernetes构建统一控制平面,使用Kueue管理训练任务队列与配额,KEDA根据业务负载动态伸缩推理实例,HAMi实现异构加速卡细粒度切分,Fluid加速数据访问,减少加速卡因等待任务、数据或资源碎片产生的空闲时间。

招商银行如何降低多租户LoRA微调的资源开销?

自研Twinkle训练框架,默认允许5个LoRA租户共享同一个基础模型实例,将基础模型副本从5份降到1份,对应场景下加速器资源消耗降低80%,训练密度提高5倍。

打开原文

更多资讯

早报|iOS27正式推送/比亚迪高管:燃油车在中国没有未来/iPhone 18 Pro渠道降价900元,苹果称不干预爱范儿 / APPSO · 09/15 08:08B站AI无限竞技场今日上线!全球百大AI模型同场竞技,GPT-6高居榜首量子位 · 09/16 14:23微软 CEO 纳德拉:AI 应用的机会正在变大,模型成本将继续下降人人都是产品经理 · 09/16 11:48Claude在英伟达内部被限用,黄仁勋告诉特朗普:我们不会让AI发展放缓发生InfoQ 中文 · 09/16 00:01AI 产品经理怎么入行?岗位方向、核心能力与转型路径一次讲清人人都是产品经理 · 09/15 08:54实测豆包新模型2.1-pro,这次审美和长时间Agent任务都追上第一档了人人都是产品经理 · 09/16 17:21Robinhood的财富效应金色财经 · 09/16 12:47把记忆交给CPU,大模型会变快量子位 · 09/16 11:07Windows 11 的 9 月例行安全更新再次引发了大量故障Solidot · 09/15 14:29510万一张!携程上架太空旅行船票:已有681人购买,还得自己买保险;娃哈哈因拖欠员工公积金被查封办公楼;华为放权!问界将由赛力斯主导雷峰网 · 09/16 08:31Arc主网上线 生态内有哪些项目?金色财经 · 09/16 17:39OpenAI 总裁最新采访:现在所有人对 AI 的预测,大概率都是错的人人都是产品经理 · 09/15 16:19分析师:四大关键因素驱动 Robinhood 链快速增长金色财经 · 09/15 17:27GPT Image 2.5 对比实测:变化与局限人人都是产品经理 · 09/15 09:46从入门到精通,一篇文章带你入门产品经理!(2026 年最新版)人人都是产品经理 · 09/16 08:53微信桌面端变“三折叠”,可能是在给小微腾位置人人都是产品经理 · 09/15 09:46iPhone 18 Pro & Duo 首发评测,提升最大的是「充电」和这个…爱范儿 / APPSO · 09/16 20:20AI健康走进百姓餐桌,蚂蚁阿福推出AI饮食分功能雷峰网 · 09/16 15:20高瓴系 CFO 往事:一代顶级机构年轻人的迁徙与突围人人都是产品经理 · 09/16 09:32Steam Frame 起售价 1059 美元Solidot · 09/15 14:59一年28倍妖王:谁在爆炒?金色财经 · 09/15 21:03豆包手机明日开卖,AI能帮你操作App了吗?36氪 · 09/15 22:32场景越多 ≠ 产品越好,:从抽象价值到真实生活的定义结构人人都是产品经理 · 09/15 11:58Meta 打造“组织第二大脑”智能体的设计思路InfoQ 中文 · 09/15 19:21企业该买模型还是养上下文?人人都是产品经理 · 09/16 10:39NVIDIA中国开发者日定档10月苏州,现场设认证考试与黑客松决赛Solidot · 09/15 14:44英国殖民之前的澳大利亚原居民人口约 222 万Solidot · 09/15 23:17横扫四榜,DM0.5 凭什么面面俱到?雷峰网 · 09/15 10:22找不到小红书爆文选题?去淘宝差评区抄!人人都是产品经理 · 09/15 11:29产品经理的体面,是一块不能失守的 “括约肌”人人都是产品经理 · 09/15 16:09