Netflix 的 Service Topology 采用三阶段架构分别承担什么职责?
第一阶段消费多区域 Kafka 流,过滤无效记录并按五分钟窗口批处理生成初始聚合器;第二阶段将中间跳转解析为直接的应用到应用边;第三阶段在持久化到图数据库前丰富节点信息,如健康、归属和元数据。

Netflix描述了如何重新设计驱动Service Topology(实时服务依赖地图)的流处理管道以满足生产规模需求。该系统采用三阶段架构,将中间解析过程与丰富和持久化过程实现了分离,将回压传播回Kafka而不是丢弃记录,并在高流量内部传输时使用服务器发送事件(server-sent event)来取代gRPC。
Netflix 在一篇技术博客中详细介绍了如何重新设计驱动 Service Topology 实时服务依赖地图的流式处理管道,以支撑生产规模。系统采用三阶段架构,将中间解析与数据丰富、持久化分离,通过 Kafka 回压传播避免数据丢失,并以 SSE 替代 gRPC 提升高流量内部传输效率,同时利用一致性哈希实现实例伸缩和负载均衡。
第一阶段消费多区域 Kafka 流,过滤无效记录并按五分钟窗口批处理生成初始聚合器;第二阶段将中间跳转解析为直接的应用到应用边;第三阶段在持久化到图数据库前丰富节点信息,如健康、归属和元数据。
使用 Apache Pekko Streams 管理回压。当图存储写入跟不上时,压力向上游传播至 Kafka 消费者暂停,将记录保留在 Kafka 中等容量恢复,从而避免数据丢失,只产生新鲜度延迟。
耐克和lululemon双双失速,运动品牌进入碎片化时代
Introducing Gemini 3.8 Live and 3.8 Live Extended Thinking
这种国民鱼一直被低估、被当廉价鱼!现在才知道钙和 DHA 这么多!快试试
How NVIDIA Groq 3 LPX Deterministic Execution Drives Power-Efficient High-Interactivity Inference on NVIDIA Vera Rubin
月之暗面:网传创始人及员工信息系恶意造谣;OpenAI 放弃今年上市;iPhone Duo炒到9万,黄牛贷款欲囤货|AI周报
抖音上线 “免费短剧” App,短剧赛道再添一员猛将
金色Web3.0日报 | OpenAI估值目标达1.2万亿美元
AI 负责创造,人来干脏活,这事儿能否停一下?
旧消费品,正长出新生意
比 MEGA Home 便宜 14 万!理想 i9 Home 上市定价 36.98 万元,六座旗舰变天了
AI风口之下,明星们又想“挤上”牌桌了
Arc主网上线 生态内有哪些项目?Fedora 45 Beta 释出
黄仁勋正演讲遇特朗普突然来电:通话全程直播商用割草机器人完成数千万融资,用L4级无人驾驶重构高尔夫草坪运维|硬氪首发
微软 CEO 纳德拉:AI 应用的机会正在变大,模型成本将继续下降
加密行业今年最重要的一天 可能就是明天
当黄仁勋和Dario遇上休谟:火鸡、台球与AI末日论
视频号评论区小蓝词使用指南
项目汇报怎么讲,才能让领导看见你的价值?
百度做了一堆AI产品,却没有一个能代表百度?
AI for everyone in every language
Meta 打造“组织第二大脑”智能体的设计思路
豆包工作打出“团队Agent”牌,Workbuddy、千问会跟吗?
想把喜欢的故事做成动画?我用 AIXTV 把《聊斋》做出来了
Ctenophores Aren’t Just Beautiful. They’re Biological Wonders.7名博士生仅用3个月从零训练7B大模型:代码+数据+训练日志全公开
在金融支付系统中实施混沌工程:来自企业级 ECS 部署的经验教训