雷峰网 发布于 09/01 10:56

李飞飞、吴佳俊再联手,打破世界模型和机器人动作的「巴别塔」

查看原文

资讯摘要

    作者丨 幸丽娟     编辑丨岑   峰                                                                       &nbsp

AI 摘要

本文介绍李飞飞、吴佳俊团队提出的TrAct框架,以视觉轨迹作为中间翻译层,统一机器人动作控制与世界模型预测。实验显示,TrAct在仿真和真机任务中显著提升成功率,尤其在跨本体、跨任务泛化上表现突出,并降低了对机器人动作标注数据的需求。

AI 问答

TrAct的核心创新是什么?

TrAct提出用视觉轨迹作为机器人动作与世界模型之间的统一翻译层,让机器人动作和视觉预测通过轨迹实现对齐,从而提升世界模型预演的准确性和跨本体泛化能力。

TrAct如何利用人类视频数据?

由于人类视频没有机器人动作标注,传统VLA难以使用。TrAct只需视觉轨迹作为监督信号,因此可以混合DROID机器人数据与EgoDex人类视频进行预训练,扩大了训练数据规模。

打开原文

更多资讯

从担心AI失控 到AI造福人类:比尔盖茨怎么想金色财经 · 09/15 14:43Meta新研究:字节模型蒸馏后,天花板破了量子位 · 09/15 14:37当AI能解千禧难题,再次证明答案不再是门槛人人都是产品经理 · 09/15 09:44英伟达带动AI数据中心大变革,中国厂商不想当边缘人36氪 · 09/16 14:22穿透查询怎样升级为穿透管控?人人都是产品经理 · 09/15 14:247名博士生仅用3个月从零训练7B大模型:代码+数据+训练日志全公开量子位 · 09/15 10:17早报|iOS27正式推送/比亚迪高管:燃油车在中国没有未来/iPhone 18 Pro渠道降价900元,苹果称不干预爱范儿 / APPSO · 09/15 08:08号称人类造的最后一个 AI 要来了,刷屏全网的 RSI 是什么爱范儿 / APPSO · 09/15 17:43被英伟达点名的杭州团队,补上了AI for Science的「最后一公里」量子位 · 09/16 11:40清晰法案有概率通过?市场可能并未定价金色财经 · 09/15 13:50现在参与以太坊原生质押为什么要先排队一个月?金色财经 · 09/16 21:24实测豆包新模型2.1-pro,这次审美和长时间Agent任务都追上第一档了人人都是产品经理 · 09/16 17:21华为坤灵升级“4+10+N”场景化方案,发布“经纬计划”和50个样板点雷峰网 · 09/16 17:27Build a serverless PII redaction pipeline with Amazon Bedrock Data AutomationAWS Machine Learning Blog · 09/16 23:17做了两年AI落地,我总结了这7点思考人人都是产品经理 · 09/16 11:04B站AI无限竞技场今日上线!全球百大AI模型同场竞技,GPT-6高居榜首量子位 · 09/16 14:23HTTP 新增 QUERY 方法:有人叫好,也有人质疑“这不就是 GET?”InfoQ 中文 · 09/15 21:00圆桌:中国之光成为新共识| 36氪 2026产业未来大会36氪 · 09/15 17:15Windows 11 的 9 月例行安全更新再次引发了大量故障Solidot · 09/15 14:29前OpenAI后训练VP回应陶哲轩:说AI毁了数学,可能还是太小瞧AI了量子位 · 09/15 13:39字节6年,如何一步步走上带20人团队的leader人人都是产品经理 · 09/16 14:39百度做了一堆AI产品,却没有一个能代表百度?人人都是产品经理 · 09/15 18:31AI风口之下,明星们又想“挤上”牌桌了人人都是产品经理 · 09/15 09:15字节将发布独立智能网盘“ADrive”,腾讯网盘先已布局,网盘AI大战打响人人都是产品经理 · 09/15 18:27从 270 分钟到 18 分钟:B 端产品经理如何主导一个 AI 达人撮合系统人人都是产品经理 · 09/16 09:37企业案例分享:玉盘量智-离子阱量子计算芯片化集成工程实践 | 36氪 2026产业未来大会36氪 · 09/15 18:33高性能电动船艇动力系统公司获近亿A轮融资,海外收入增长450%丨36氪首发36氪 · 09/16 09:30SDL3 移植到 HarmonyOS / OpenHarmonySolidot · 09/16 16:57云岫资本合伙人宋旭文:量子计算:工程化与产业化并进,拐点将至 | 36氪 2026产业未来大会36氪 · 09/15 18:38AMC 炮轰 Robinhood:股票归谁做主?金色财经 · 09/15 21:18