雷峰网 发布于 08/28 15:24

一段视频,让机器人学会开门并穿越:Video2DoorTraversal 如何打通 Real-to-Sim-to-Real

查看原文

资讯摘要

对人来说,推门近乎是一种下意识动作。对移动操作机器人来说,这是一道把感知、移动、操作和控制绑在一起的综合题。 机器人需要找到并靠近把手,完成接触与旋转,在门体移动时协调底盘、机械臂和夹爪,还要避开门框、连续穿过狭窄门口。任何一步出现误差,都可能让整段任务中断。

AI 摘要

纽娲机器人、上海交通大学和山东大学的研究团队发布预印本 Video2DoorTraversal,提出单视频 Real-to-Sim-to-Real 框架。该系统用一段 RGB 视频重建真实门的数字孪生 DoorTwin,在仿真中生成并筛选轨迹,训练轮足移动操作机器人完成从接近、开门到穿越的连续任务。在五扇门共 175 次真机测试中平均成功率为 96.57%,在三扇结构相似的未见门上零样本平均成功率为 80.95%,平均用时约 13 秒,视觉处理与策略推理均在机器人本地完成。

AI 问答

Video2DoorTraversal 在真机测试中的平均成功率是多少?

在五扇目标门上共测试 175 次,成功 169 次,平均成功率为 96.57%。

该框架在未见门上的零样本表现如何?

在三扇结构相似、训练阶段未见过的门上,零样本平均成功率为 80.95%,无需增加目标门训练或轨迹生成。

打开原文

更多资讯

豆包手机明日开卖,AI能帮你操作App了吗?36氪 · 09/15 22:32OpenAI 发布适用于编程和计算机应用的 GPT-6 AstraInfoQ 中文 · 09/16 00:52从担心AI失控 到AI造福人类:比尔盖茨怎么想金色财经 · 09/15 14:43被用了几千年的铜,怎么突然成了AI时代的新宠?果壳网 · 09/16 16:15NVIDIA中国开发者日定档10月苏州,现场设认证考试与黑客松决赛Solidot · 09/15 14:44Agent开始调用基础设施,Kubernetes准备好了吗?InfoQ 中文 · 09/16 04:38豆包 2.1 Pro模型更新,已接入豆包工作雷峰网 · 09/16 14:01微信桌面端变“三折叠”,可能是在给小微腾位置人人都是产品经理 · 09/15 09:46Dense vs. MoE Models: Active Parameters, Throughput, and When to Choose EachNVIDIA Technical Blog · 09/16 01:00企业案例分享:玉盘量智-离子阱量子计算芯片化集成工程实践 | 36氪 2026产业未来大会36氪 · 09/15 18:33理想落幕:加密行业为何集体走向同质化?金色财经 · 09/15 18:31微软 CEO 纳德拉:AI 应用的机会正在变大,模型成本将继续下降人人都是产品经理 · 09/16 11:48Grayscale:比特币能否优化私募市场投资组合?金色财经 · 09/15 09:10OpenAI万亿IPO推迟背后 四本账与三条投资路径金色财经 · 09/16 11:27企业案例分享:坤煜量子|36氪2026产业未来大会36氪 · 09/15 16:54英伟达开源 IMO 金牌配方:不仅是「人海战术」,1.5TB 显存做实 AI「 推恩令」?雷峰网 · 09/15 17:38支付宝 xUI -- “阿宝”背后的 Agentic 终端交互引擎InfoQ 中文 · 09/16 02:27缓存不该困在一台服务器里InfoQ 中文 · 09/16 07:00前高通算法研发经理跨界AI算力板检测,获近亿元战略投资丨36氪首发36氪 · 09/15 09:30号称人类造的最后一个 AI 要来了,刷屏全网的 RSI 是什么爱范儿 / APPSO · 09/15 17:43物理 AI 的大结果何时到来?人人都是产品经理 · 09/16 17:25无效的管理者和疲惫的基层:浅论考核指标的漂移人人都是产品经理 · 09/16 15:06字节将发布独立智能网盘“ADrive”,腾讯网盘先已布局,网盘AI大战打响人人都是产品经理 · 09/15 18:27云岫资本合伙人宋旭文:量子计算:工程化与产业化并进,拐点将至 | 36氪 2026产业未来大会36氪 · 09/15 18:38社区速递 158 | 便宜耐造的副厂手柄与大学宿舍里那些相见恨晚的装备少数派 · 09/15 17:00OpenAI 总裁:AGI 已经发生金色财经 · 09/15 22:25语义翻译的操作日常:把”我觉得不对”变成”机器能查”人人都是产品经理 · 09/16 09:52Arc主网上线 生态内有哪些项目?金色财经 · 09/16 17:39现在参与以太坊原生质押为什么要先排队一个月?金色财经 · 09/16 21:24Meta新研究:字节模型蒸馏后,天花板破了量子位 · 09/15 14:37