NVIDIA Technical Blog 发布于 08/20 01:50

Building Federated Multimodal AI Workflows with NVIDIA FLARE

(翻译)使用 NVIDIA FLARE 构建联邦多模态 AI 工作流

查看原文

资讯摘要

Modern vision-language models (VLMs) can support tasks such as visual question answering, captioning, and image-text reasoning. In practice, however…

AI 摘要

本文介绍使用 NVIDIA FLARE 构建联邦多模态 AI 工作流,重点讨论跨机构训练视觉语言模型时的网络传输与聚合设计,包括大型对象外部化、张量流式传输和磁盘支撑聚合。还介绍了 FedUMM 在冻结的 BLIP3o 骨干上仅聚合 LoRA 适配器,将每轮通信量从 28.6GB 降至 0.094GB,并提升 VQA v2 0.7 分。

AI 问答

NVIDIA FLARE 如何降低联邦多模态训练中的通信和内存压力?

NVIDIA FLARE 支持大型对象外部化、张量流式传输和磁盘支撑聚合,从而减少序列化、传输和聚合时占用的内存。

FedUMM 的联邦训练方式是什么?

FedUMM 冻结 BLIP3o 多模态骨干,客户端只训练并上传 LoRA 适配器和对齐 token,服务器按模态聚合轻量更新。

FedUMM 在实验中取得了哪些结果?

在 8 客户端对比中,每轮通信量从 28.6GB 降至 0.094GB,VQA v2 提升 0.7 分,性能约为集中式参考的 97%。

打开原文

更多资讯

飞书与豆包工作合体后首亮相:Agent 能进群,还能帮你写周报、做PPTInfoQ 中文 · 09/16 02:37我的“一人公司”,是怎么搞钱的?人人都是产品经理 · 09/15 08:56产品已批量进入全球头部Tier 1产线,「知来具身」要为工业场景打造“开箱即用”的泛化机器人36氪 · 09/16 10:12WorkBuddy + 美图设计室,在对话框里就能解决办公设计任务?人人都是产品经理 · 09/15 08:57QQ 飞车 Agentic 研发转型过程中的Loop EngineeringInfoQ 中文 · 09/16 01:24就业率砍半,年轻人靠什么翻盘?AI时代,这三点越早做越好人人都是产品经理 · 09/15 16:1236氪首发 | 国内头部硅电容IDM企业融资亿元,切入AI芯片与高端光模块36氪 · 09/16 14:35西门子不造机器人,为什么机器人进厂的故事里总有它?量子位 · 09/16 15:38How NVIDIA Groq 3 LPX Deterministic Execution Drives Power-Efficient High-Interactivity Inference on NVIDIA Vera RubinNVIDIA Technical Blog · 09/16 00:55豆包 2.1 Pro模型更新,已接入豆包工作雷峰网 · 09/16 14:018点1氪丨选手赛中失禁污染赛道,HYROX中国宣布整改;机构预计美股明年将暴跌21%;苹果推出Siri人工智能36氪 · 09/15 08:038点1氪丨8月一线城市房价上涨;携程上架510万一张的太空旅行船票;字节跳动上半年净利润出现下滑,但海外收入占比再创新高36氪 · 09/16 08:01金色Web3.0日报 | 黄仁勋批驳「AI末日论」金色财经 · 09/15 21:48渣打给ARB十美元目标价靠什么?金色财经 · 09/16 21:36AI for everyone in every languageGoogle AI Blog · 09/16 00:00YC 最值钱的这 20家公司,没有一家来自最近5年人人都是产品经理 · 09/15 10:39FAST 发现极短周期、最轻双中子星系统Solidot · 09/16 19:09CLARITY的失败 跟加密行业好坏没啥关系金色财经 · 09/16 14:11Scaling Federated Learning Across Docker, Kubernetes, and Slurm with NVIDIA FLARENVIDIA Technical Blog · 09/15 23:00前OpenAI后训练VP回应陶哲轩:说AI毁了数学,可能还是太小瞧AI了量子位 · 09/15 13:39当罗永浩站在群众的对立面人人都是产品经理 · 09/15 11:35Windows 11 的 9 月例行安全更新再次引发了大量故障Solidot · 09/15 14:29Arc主网上线 生态内有哪些项目?金色财经 · 09/16 17:39具透 | 精心优化, 体验感愉悦升华:iOS 27 中值得关注的新特性少数派 · 09/15 15:00Ctenophores Aren’t Just Beautiful. They’re Biological Wonders.Quanta Magazine · 09/16 23:56谁在给我们制造 AI 焦虑金色财经 · 09/15 20:38清晰法案有概率通过?市场可能并未定价金色财经 · 09/15 13:50苹果Siri AI上线;豆包手机助手消费版正式发布;塔克拉玛干沙漠发现两处大型地下水水源果壳网 · 09/15 20:15Mistral 与 Mozilla 合作推出 Firefox Smart WindowSolidot · 09/16 18:537名博士生仅用3个月从零训练7B大模型:代码+数据+训练日志全公开量子位 · 09/15 10:17