InfoQ 中文 发布于 08/26 19:11

Netflix详述如何扩展其实时服务地图

查看原文

资讯摘要

Netflix描述了如何重新设计驱动Service Topology(实时服务依赖地图)的流处理管道以满足生产规模需求。该系统采用三阶段架构,将中间解析过程与丰富和持久化过程实现了分离,将回压传播回Kafka而不是丢弃记录,并在高流量内部传输时使用服务器发送事件(server-sent event)来取代gRPC。

AI 摘要

Netflix 在一篇技术博客中详细介绍了如何重新设计驱动 Service Topology 实时服务依赖地图的流式处理管道,以支撑生产规模。系统采用三阶段架构,将中间解析与数据丰富、持久化分离,通过 Kafka 回压传播避免数据丢失,并以 SSE 替代 gRPC 提升高流量内部传输效率,同时利用一致性哈希实现实例伸缩和负载均衡。

AI 问答

Netflix 的 Service Topology 采用三阶段架构分别承担什么职责?

第一阶段消费多区域 Kafka 流,过滤无效记录并按五分钟窗口批处理生成初始聚合器;第二阶段将中间跳转解析为直接的应用到应用边;第三阶段在持久化到图数据库前丰富节点信息,如健康、归属和元数据。

Netflix 如何应对管道中的回压问题?

使用 Apache Pekko Streams 管理回压。当图存储写入跟不上时,压力向上游传播至 Kafka 消费者暂停,将记录保留在 Kafka 中等容量恢复,从而避免数据丢失,只产生新鲜度延迟。

打开原文

更多资讯

日本百岁老人人数首次超过 10 万人Solidot · 09/16 13:35Build an AI-powered product tagging system with Amazon SageMaker serverless model customizationAWS Machine Learning Blog · 09/16 00:11耐克和lululemon双双失速,运动品牌进入碎片化时代人人都是产品经理 · 09/15 11:40Introducing Gemini 3.8 Live and 3.8 Live Extended ThinkingGoogle DeepMind Blog · 09/16 01:05这种国民鱼一直被低估、被当廉价鱼!现在才知道钙和 DHA 这么多!快试试果壳网 · 09/15 22:15How NVIDIA Groq 3 LPX Deterministic Execution Drives Power-Efficient High-Interactivity Inference on NVIDIA Vera RubinNVIDIA Technical Blog · 09/16 00:55月之暗面:网传创始人及员工信息系恶意造谣;OpenAI 放弃今年上市;iPhone Duo炒到9万,黄牛贷款欲囤货|AI周报InfoQ 中文 · 09/16 00:07抖音上线 “免费短剧” App,短剧赛道再添一员猛将人人都是产品经理 · 09/16 10:20金色Web3.0日报 | OpenAI估值目标达1.2万亿美元金色财经 · 09/16 21:45AI 负责创造,人来干脏活,这事儿能否停一下?InfoQ 中文 · 09/15 08:08旧消费品,正长出新生意人人都是产品经理 · 09/15 11:20比 MEGA Home 便宜 14 万!理想 i9 Home 上市定价 36.98 万元,六座旗舰变天了爱范儿 / APPSO · 09/16 23:21AI风口之下,明星们又想“挤上”牌桌了人人都是产品经理 · 09/15 09:15Arc主网上线 生态内有哪些项目?金色财经 · 09/16 17:39Fedora 45 Beta 释出Solidot · 09/16 15:26黄仁勋正演讲遇特朗普突然来电:通话全程直播金色财经 · 09/15 21:33商用割草机器人完成数千万融资,用L4级无人驾驶重构高尔夫草坪运维|硬氪首发36氪 · 09/16 10:00微软 CEO 纳德拉:AI 应用的机会正在变大,模型成本将继续下降人人都是产品经理 · 09/16 11:48加密行业今年最重要的一天 可能就是明天金色财经 · 09/15 14:16当黄仁勋和Dario遇上休谟:火鸡、台球与AI末日论金色财经 · 09/15 22:18视频号评论区小蓝词使用指南人人都是产品经理 · 09/16 10:27项目汇报怎么讲,才能让领导看见你的价值?人人都是产品经理 · 09/16 11:32百度做了一堆AI产品,却没有一个能代表百度?人人都是产品经理 · 09/15 18:31AI for everyone in every languageGoogle AI Blog · 09/16 00:00Meta 打造“组织第二大脑”智能体的设计思路InfoQ 中文 · 09/15 19:21豆包工作打出“团队Agent”牌,Workbuddy、千问会跟吗?人人都是产品经理 · 09/16 14:31想把喜欢的故事做成动画?我用 AIXTV 把《聊斋》做出来了人人都是产品经理 · 09/16 17:22Ctenophores Aren’t Just Beautiful. They’re Biological Wonders.Quanta Magazine · 09/16 23:567名博士生仅用3个月从零训练7B大模型:代码+数据+训练日志全公开量子位 · 09/15 10:17在金融支付系统中实施混沌工程:来自企业级 ECS 部署的经验教训InfoQ 中文 · 09/15 17:04