AWS Machine Learning Blog 发布于 08/29 00:20

Spreading the load: How Salesforce met Multi-AZ HA with SageMaker Inference Components

(翻译)分摊负载:Salesforce 如何借助 SageMaker Inference Components 满足多可用区高可用

查看原文

资讯摘要

Learn how Salesforce used Amazon SageMaker AI Inference Component placement (the SchedulingConfig parameter) to distribute model copies across multiple Availability Zones, meeting their Multi-AZ high availability compliance requirements without sacrificing the cost efficiency of multi-model co-hosti

AI 摘要

本文介绍 Salesforce 如何利用 Amazon SageMaker AI 推理组件新增的 SchedulingConfig 参数,在多个可用区间均匀分布模型副本,以满足 Multi-AZ 高可用合规要求,同时保留多模型共享 GPU 带来的成本优势。内容包括 SPREAD 与 BINPACK 策略、可用区平衡配置、扩缩容时的平衡保持、容量预留及监控建议。

AI 问答

SchedulingConfig 中的 AvailabilityZoneBalance 有什么作用?

它控制推理组件副本跨可用区的均衡分布,通过 MaxImbalance 设置任意两个可用区之间允许的最大副本数差异。

为什么高可用关键模型不能将 CopyCount 设为 1?

因为单个副本只能位于一个可用区,无法满足两个可用区的高可用合规要求。

SPREAD 和 BINPACK 有什么区别?

SPREAD 将副本尽可能分散到多台实例上以增强故障隔离;BINPACK 将副本集中到较少实例上以提高 GPU 利用率。

打开原文

更多资讯

担心代码被拿去训练!英伟达:限制员工使用 Claude;一汽将成广汽第二大股东!南北丰田拟合并;苹果回应「iPhone 18 Pro破发」雷峰网 · 09/15 08:23旗舰SoC进入融合计算时代,天玑9600 Pro首创AI原生架构!雷峰网 · 09/15 21:01和Jeff Dean押注同一方向,27岁清华助理教授创业,两个月融资数亿36氪 · 09/16 15:58Fedora 45 Beta 释出Solidot · 09/16 15:26超级智能体“迪迪虾”上车,比亚迪携手阿里云推进智能座舱升级雷峰网 · 09/15 11:58CLARITY的失败 跟加密行业好坏没啥关系金色财经 · 09/16 14:1136氪研究院 | 2026年北京市OPC创业者研究报告36氪 · 09/15 16:30高瓴系 CFO 往事:一代顶级机构年轻人的迁徙与突围人人都是产品经理 · 09/16 09:32510万一张!携程上架太空旅行船票:已有681人购买,还得自己买保险;娃哈哈因拖欠员工公积金被查封办公楼;华为放权!问界将由赛力斯主导雷峰网 · 09/16 08:31Steam Frame 起售价 1059 美元Solidot · 09/15 14:59协同办公进入Agent时代,飞书+豆包工作跑在了最前面量子位 · 09/16 15:46穿透查询怎样升级为穿透管控?人人都是产品经理 · 09/15 14:24黄仁勋再谈AI危险论:中国会成为全球开源重要力量金色财经 · 09/16 17:23vivo Buds Clip 体验:42 小时续航的无感佩戴,音质好也舒服爱范儿 / APPSO · 09/16 13:55QQ 飞车 Agentic 研发转型过程中的Loop EngineeringInfoQ 中文 · 09/16 01:24分析师:四大关键因素驱动 Robinhood 链快速增长金色财经 · 09/15 17:27现在参与以太坊原生质押为什么要先排队一个月?金色财经 · 09/16 21:24圆桌:生长·资方投资的新方程——穿越周期的耐心与价值 | 36氪 2026产业未来大会36氪 · 09/15 17:06高性能电动船艇动力系统公司获近亿A轮融资,海外收入增长450%丨36氪首发36氪 · 09/16 09:30实测豆包新模型2.1-pro,这次审美和长时间Agent任务都追上第一档了人人都是产品经理 · 09/16 17:21稳定币挤兑与套利集中化金色财经 · 09/16 18:54企业案例分享:玉盘量智-离子阱量子计算芯片化集成工程实践 | 36氪 2026产业未来大会36氪 · 09/15 18:33量子位2026人工智能年度榜单,正式启动!量子位 · 09/16 12:16旧消费品,正长出新生意人人都是产品经理 · 09/15 11:20上市前交易市场:永续合约化的Pre-IPO资产金色财经 · 09/16 09:21Build an AI-powered product tagging system with Amazon SageMaker serverless model customizationAWS Machine Learning Blog · 09/16 00:11今晚「鸽派加息」?金色财经 · 09/16 16:08豆包工作打出“团队Agent”牌,Workbuddy、千问会跟吗?人人都是产品经理 · 09/16 14:31圆桌:量智共振·多元路径:共筑中国量子产业下一个十年 | 36氪 2026产业未来大会36氪 · 09/15 15:35读完斯坦福116页AI实施手册,我最大的感受是:别再盯着模型了人人都是产品经理 · 09/15 12:14