雷峰网 发布于 09/03 18:09

把 Gemini 和 GPT 放到《我的世界》当教练,谁能看懂机器人的微操?

查看原文

资讯摘要

    作者丨 张   璐     编辑丨 幸丽娟                                                                       &nbs

AI 摘要

清华与NVIDIA联合团队在《VLM-AR3L》研究中,将Gemini 2.0、GPT-4.1等主流视觉语言模型放入《我的世界》等具身仿真环境进行动作评估测试。结果显示Gemini 2.0综合最稳,开源小模型在部分任务上反超。针对直接调用大模型作为奖励信号存在的成本高、绝对打分漂移等问题,团队提出绝对加相对双奖励与孪生网络蒸馏框架,将查询开销降至1/20,并在长时程任务中超越人类手写奖励。

AI 问答

VLM-AR3L 是如何解决大模型高频调用带来的高成本和延迟问题的?

研究团队让大模型在后台从经验回放池中离线采样图像对并生成偏好标签,再用这些标签训练一个极小的本地孪生网络。强化学习训练时只调用本地轻量网络获取奖励,从而将大模型API查询需求降低约20倍。

在具身智能动作评估测试中,哪个模型综合表现最好?

Gemini-2.0-Flash 是唯一在所有10项任务中准确率全部保持在70%以上的模型,综合表现最稳,部分任务准确率超过90%。

传统绝对打分方法在具身任务中存在哪些缺陷?

一是奖励评估会发生剧烈漂移,训练后期评分基准不稳定;二是对于循环或非线性动作,如环形跑道任务,全局固定的高低分在数学上不成立,会导致智能体陷入死循环,收益始终为0。

打开原文

更多资讯

亚太唯一!腾讯云首次入选IDC MarketScape 全球托管边缘服务领导者类别雷峰网 · 09/15 17:24FAST 发现极短周期、最轻双中子星系统Solidot · 09/16 19:09“极端”空头压境 美联储周三不加息就是最大意外金色财经 · 09/16 08:22Stella:“显化”想要的人生,60天35万美元月收入人人都是产品经理 · 09/16 14:09高性能电动船艇动力系统公司获近亿A轮融资,海外收入增长450%丨36氪首发36氪 · 09/16 09:30OpenAI故意欠技术债,等Codex来还:仅2名工程师,把核心存储从Python重写成RustInfoQ 中文 · 09/16 00:09豆包工作还想反超WorkBuddy?人人都是产品经理 · 09/16 17:51强化学习大本营新作:如何破解「学新忘旧」困局雷峰网 · 09/15 10:18美国军方首次证实在太空部署了武器Solidot · 09/15 16:07CoinEx宣布体面关停:值得肯定但不该神化金色财经 · 09/16 22:20字节将发布独立智能网盘“ADrive”,腾讯网盘先已布局,网盘AI大战打响人人都是产品经理 · 09/15 18:27Anew Labs已完成 2.9 亿美元融资,红杉中国、高瓴、IDG、五源、高榕等参与雷峰网 · 09/16 14:28现在参与以太坊原生质押为什么要先排队一个月?金色财经 · 09/16 21:24企业案例分享:伊辛智能|36氪2026产业未来大会36氪 · 09/15 16:388点1氪丨8月一线城市房价上涨;携程上架510万一张的太空旅行船票;字节跳动上半年净利润出现下滑,但海外收入占比再创新高36氪 · 09/16 08:01Robinhood的财富效应金色财经 · 09/16 12:47AI大模型工场2026 AI产业生态大会今日举办,大咖同台共探智能生长与产业共生量子位 · 09/16 16:51豆包工作打出“团队Agent”牌,Workbuddy、千问会跟吗?人人都是产品经理 · 09/16 14:31当我怀念旧版 Edge 浏览器时,我在怀念什么?少数派 · 09/16 10:38Scaling Federated Learning Across Docker, Kubernetes, and Slurm with NVIDIA FLARENVIDIA Technical Blog · 09/15 23:00圆桌:探路·产业分工的新图谱,看到新未来——国家力量如何转化为产业价值 | 36氪 2026产业未来大会36氪 · 09/15 17:39上市前交易市场:永续合约化的Pre-IPO资产金色财经 · 09/16 09:21首个AIGC长片大赛!RunningHub单项大奖100万,科幻IP免费改编量子位 · 09/15 15:48展翼之后,三折叠再次进化:HUAWEI Mate XT 2 非凡大师深度体验评测果壳网 · 09/16 08:34横扫四榜,DM0.5 凭什么面面俱到?雷峰网 · 09/15 10:22Optimizing cost and latency with Amazon Bedrock prompt cachingAWS Machine Learning Blog · 09/16 00:18电商对账的设计逻辑:四层核对,逐层下钻人人都是产品经理 · 09/16 14:36Build an AI-powered product tagging system with Amazon SageMaker serverless model customizationAWS Machine Learning Blog · 09/16 00:11圆桌:量智共振·多元路径:共筑中国量子产业下一个十年 | 36氪 2026产业未来大会36氪 · 09/15 15:35iOS 27 正式版体验:Siri AI 终于开窍了,老 iPhone 升级也有新东西爱范儿 / APPSO · 09/15 13:00