雷峰网 发布于 09/09 10:32

ECCV 2026 专访:让大模型「忘掉XYZ」,RoboTracer 用 3D 空间感知与度量推理重塑机器人轨迹追踪

查看原文

资讯摘要

    作者丨 张   璐     编辑丨 幸丽娟                                                                       &nbs

AI 摘要

RoboTracer是北航、北大、智源、中科院自动化所等团队提出的3D空间感知与轨迹生成方法,采用图像坐标加度量深度(u,v,d)的表征代替直接预测XYZ,让VLM具备绝对尺度与多步推理能力。其基于约450万样本的TraceSpatial训练,在TraceSpatial-Bench上综合成功率从Gemini-2.5-Pro的3%提升至39%,接入内参与深度达45%;真机UR5桌面任务60%,G1浇花30%。

AI 问答

RoboTracer为什么用(u,v,d)表示轨迹,而不是直接预测(x,y,z)?

直接预测XYZ要求模型同时学准三维绝对数值和相机内外参,容易训练不稳定且泛化差;而(u,v,d)将2D像素坐标与独立深度分离,天然兼容海量互联网2D图文数据,也可通过相机内参无损还原3D坐标,迁移性更好。

大模型如何建立对“1厘米”这类绝对尺度的感知?

RoboTracer引入基于回归监督的尺度解码器,在对数空间做回归,并允许模型按上下文自主选择米、厘米、英寸等物理单位,避免与预训练阶段的物体先验冲突;同时增加通用空间编码器,支持单目RGB或额外深度图、相机内参输入,提升尺度估计。

RoboTracer在真机上表现如何?

论文报告真机成功率:UR5桌面抓放约60%,Unitree G1从左到右悬停浇花约30%,OpenVLA和RoboRefer成功率均为0。说明(u,v,d)轨迹可跨机器人构型复用,但人形长程操作仍非稳定可用。

打开原文

更多资讯

Arc主网上线 生态内有哪些项目?金色财经 · 09/16 17:39别闹,几粒盐就能立起高脚杯?你是不是用胶水了?果壳网 · 09/15 14:15AI大模型工场2026 AI产业生态大会今日举办,大咖同台共探智能生长与产业共生量子位 · 09/16 16:51GPT Image 2.5 对比实测:变化与局限人人都是产品经理 · 09/15 09:46我的“一人公司”,是怎么搞钱的?人人都是产品经理 · 09/15 08:56云连锁到轻连锁,品牌业务逻辑的改变人人都是产品经理 · 09/16 11:47CLARITY闯关失败 加密市场闻声而动 政策空白谁填补金色财经 · 09/16 15:26耐克、妮维雅、谷歌的警示:品类,正在误导品牌战略!人人都是产品经理 · 09/15 09:42XCancel 服务再次下线Solidot · 09/15 14:20清华稳准智能联合发布LimiX-2,结构化数据基础模型登顶国际评测榜单雷峰网 · 09/16 16:05清晰法案有概率通过?市场可能并未定价金色财经 · 09/15 13:50「沃什时代」首次加息要来了?华尔街算好了三种剧本金色财经 · 09/16 20:25圆桌:新能源:后时代的深水淘金 | 36氪 2026产业未来大会36氪 · 09/15 17:56AWS 称无法恢复中东部分可用区资源和数据的访问Solidot · 09/16 23:11AI不会放缓金色财经 · 09/15 10:3319.98 万元起,吉利银河战舰 700 开启预售,最高 1129 匹马力,还有三电机四驱爱范儿 / APPSO · 09/15 21:04iPhone 18 Pro & Duo 首发评测,提升最大的是「充电」和这个…爱范儿 / APPSO · 09/16 20:20黄仁勋正演讲遇特朗普突然来电:通话全程直播金色财经 · 09/15 21:33当年救了臭氧层的功臣,现在变成了永久性污染物果壳网 · 09/16 13:15豆包工作打出“团队Agent”牌,Workbuddy、千问会跟吗?人人都是产品经理 · 09/16 14:31展翼之后,三折叠再次进化:HUAWEI Mate XT 2 非凡大师深度体验评测果壳网 · 09/16 08:34支付宝 xUI -- “阿宝”背后的 Agentic 终端交互引擎InfoQ 中文 · 09/16 02:27HYROX比赛腹泻这事,运动员拼归拼,但主办方不能装看不见果壳网 · 09/16 23:15从入门到精通,一篇文章带你入门产品经理!(2026 年最新版)人人都是产品经理 · 09/16 08:53华为坤灵升级“4+10+N”场景化方案,发布“经纬计划”和50个样板点雷峰网 · 09/16 17:27早报|雷军同日到访宇树与B站/罗永浩差评带来流量,野人先生单日涨粉近3万/鸿蒙智行确认问界合作调整,赛力斯主导爱范儿 / APPSO · 09/16 08:45无效的管理者和疲惫的基层:浅论考核指标的漂移人人都是产品经理 · 09/16 15:067名博士生仅用3个月从零训练7B大模型:代码+数据+训练日志全公开量子位 · 09/15 10:17稳定币挤兑与套利集中化金色财经 · 09/16 18:54实习生1天消耗1亿Token被约谈:如何衡量Token的ROI人人都是产品经理 · 09/16 14:19