看视频、建世界、做实验:清华Asking the World让AI用物理回答问题
将文章核心主题、阅读路径与关联内容进行更清晰的组织,帮助用户以更流畅的节奏进入正文。
当前位置
当前正在查看文章详情,可沿路径返回栏目页或继续切换其他内容。
看视频、建世界、做实验:清华Asking the World让AI用物理回答问题
球友会官网带来本期体育资讯:
AI 能逼真地 “搭出” 一个世界,就能准确预测它如何运转吗?
GPT-6 Astra 展现出的场景建模能力令人印象深刻。
但几何与外观的逼真还原,并不意味着对物理规律的准确把握。
避免物体穿模、借助语义先验估计物理属性,与准确推演物体运动之间,仍有距离。
后者还需要进一步识别质量、摩擦系数和阻尼等难以仅凭外观确定的属性与参数。
从还原外观到推演运动,AI 还要跨过一道 “物理关”。
清华大学团队提出的Asking the World(ATW)框架,让 AI 根据视频自主构建可运行的物理仿真世界,再通过属性查询、运动仿真和条件干预获取证据,回答物理属性、运动预测及反事实推理等问题。
以 Gemini-3-Flash 为基座模型,ATW 在 CLEVRER 和 ContPhy 两项物理推理基准上的整体准确率分别达到80.
82%和70.
56%,相较于直接根据视频回答,分别提升46.
50和28.
10个百分点。
作为团队PhysMind 的续作,ATW 继承了 “从视频恢复物理世界,再通过实验开展推理” 的思路,进一步让智能体决定如何建模、开展哪些实验,并将方法拓展至更多材料和物理场景。
这套方法无需额外训练或微调,也提供了更经济的模型选择:相比 Astra,Gemini-3-Flash 这类视觉语言模型的调用成本低得多。
ATW 由视觉语言模型理解问题、选择操作,再由物理工具计算运动。
01|从视频恢复可执行的物理世界 ATW 的方法基础来自团队此前的工作 PhysMind。
它从视频恢复几何、运动与物理参数,建立能够继续仿真,也允许修改条件的 “可执行世界”。
例如,移走视频中的球体,哪些碰撞仍会发生?
原视频没有给出答案。
PhysMind 会在重建场景中移除球体,重新运行仿真,依据轨迹和碰撞事件作答。
图 1:PhysMind 通过修改重建场景并运行仿真,为 “移走球体后哪些碰撞仍会发生” 提供判断依据。
要构建这样的世界,PhysMind 先识别物体、恢复形状与运动轨迹,再结合地面和支撑关系校正结果。
物体滑行时的减速、碰撞前后的速度变化,则为估计摩擦和质量关系提供线索。
系统利用连续时间解析方法估计摩擦、质量比例和碰撞恢复系数等物理参数,使仿真尽可能符合观测。
这一过程称为 “系统辨识”。
同一段视频只需建模一次,后续多个问题便可复用。
图 2:PhysMind 整体流程,包括几何与运动恢复、物理参数估计,以及通过查询、仿真和干预获取推理依据。
ATW 沿用这一思路,进一步拓展:面对不同场景和任务,如何让 AI 自主选择合适的建模方式,并决定用什么实验获取答案?
02|从建模到实验,由智能体自主决策 物理属性判断可能仅需读取参数,预测则需要延长仿真。
任务不同,需要关注的物体、调用的工具和获取的证据也不同。
ATW 把问题需求引入世界构建,并将过程分为“世界建模”与“世界探测”两个阶段。
在 “世界建模” 阶段,智能体选择相关物体和物理模型,调用合适的视觉工具恢复几何与运动,再拟合物理参数。
它会检查中间结果,根据反馈调整感知、模型选择或参数估计。
论文中的台球案例展示了这一过程:发现黄色球未被分割后,智能体补充检测,再继续后续步骤。
完成建模后,智能体进入 “世界探测” 阶段。
判断物理属性,可以查询拟合参数;
预测未来,可以继续仿真;
回答反事实问题,则复制场景、施加干预。
如果证据不足,它会进一步查询轨迹或开展新的实验。
图 3:ATW 根据任务与反馈选择操作,包括修正物体漏检、移除棕色球和查询碰撞事件。
不同实验基于同一个已校准的世界,分别保留结果供比较。
智能体在这一基础上推演不同条件下的运动,并依据轨迹与事件作答。
03|拓展至多种材料与物理场景 ATW 的另一项进展,是从刚体碰撞拓展到更多材料。
布料会弯折,流体会流动,还可能与其他物体相互作用,需要相应的物理模型。
为此,团队开发了PolyWorld Engine,一套供智能体使用的物理仿真引擎。
它基于Warp构建,涵盖刚体、软体、布料、绳索、流体及其耦合交互。
智能体可以通过统一接口构建场景、读取状态、推进仿真和施加干预。
图 4:ATW 将统一的建模与实验推理方法应用于刚体、流体和布料等场景。
所构建场景仍需与视频观测对齐。
ATW 通过搜索参数、比较仿真与观测差异,校准运动与形变。
对于可变形物体,还会比较形状、表面或中心线随时间的变化。
如果偏差来自物体对应关系或物理模型选择,智能体可在建模阶段修正,再重新拟合。
04|重建世界是否有效,用物理推理任务检验 复现视频中的运动,还不足以说明重建世界是“物理可信”的。
团队因此用物理推理任务验证 ATW:让它预测视频结束后的事件、判断改变条件后的结果,检验恢复出的动力学能否帮助 AI 答对问题。
在 CLEVRER 上,以 Gemini-3-Flash 为
关注球友会官网,了解更多体育资讯。
推荐阅读
Search
热点新闻
再聪明的孩子,也会被“精细化管控”养废!无数家庭正在中招
刷到一段真实的亲子对话,看完后背一凉, 瞬间看懂了很多孩子越长大越平庸的真相。 有位爸爸的教育日常,看似句句都是关心, 实则步步都是掌控,看完让人细思极恐 。 也终于明白:为什么很多小时候灵气满满、头脑聪明的孩子, 越长大越没主见、越学越被动,最后慢慢沦为普通人。 比如,孩子吃完香蕉想先去厕所,爸爸立马叫停:先把香蕉吃完再去,不吃就放外面。孩子不耐烦答应,刚转身又被叮嘱:上完厕所记得冲水、回来先洗
终于知道《走近科学》为什么被停播了!它走了20年都没有走进科学
谁能想到,一档在央视播出了二十一年的科普节目,停播七年之后,依旧能让网友笑得停不下来。明明叫《走近科学》,讲起故事却像悬疑片,前面十几分钟让人怀疑遇到了神秘力量,后面几分钟突然告诉观众,原来只是普通的生活现象。这样的节目放在今天,恐怕早就被网友疯狂吐槽。可奇怪的是,当年不少人明知道它喜欢制造悬念,到了播出时间还是舍不得换台。 更值得琢磨的是,《走近科学》并非因为没有观众才被人记住,恰恰相反,它曾经
我发现一个现实:如今小县城的彩礼,连大城市的中产男性都给不起
最近和几个朋友聊天,发现一个特别反常、却又无比真实的现象。 在北上广深扎根的中产男生,年薪二三十万,有房有车,看着体面光鲜。 可真让他们回小县城娶媳妇,大概率会被当地的彩礼标准,直接挡在门外。 很多人固有印象里,大城市生活成本高,结婚门槛肯定更高。 事实恰恰相反。现在的婚恋市场,早就变成了: 越繁华的大城市,彩礼越随意;越普通的小县城,彩礼越离谱。 我身边不少定居一线的朋友,结婚时基本没被彩礼为难
诺奖得主Hassabis再交神作!AlphaGenome 2破译人类98%基因「暗物质」
新智元报道 DeepMind深夜又甩出王炸了! 就在刚刚, 诺奖得主哈萨比斯亲自挂帅 ,带领谷歌DeepMind正式发布 新一代DNA基础模型 AlphaGenome 2 。 要知道,当年让他一举封神的AlphaFold,其实只破解了人类DNA中 占2%的蛋白质编码区 。 而剩下整整 98%的非编码区 ,一直被称为基因组里的 「暗物质」 。这里不仅掌管着基因开启与关闭的「调控开关」,还藏着 人类九
农商行宣布解散,存的定期存款怎么办?别被骗子吓唬!
最近很多人刷到各地农商行解散的官方公告,不少储户心里瞬间没底。尤其是手里存了三年、五年定期的朋友,看到“解散”两个字,很容易产生误解,生怕辛苦攒下来的存款打了水漂。 与此同时,网络上各种夸大的谣言四处传播,骗子也专门盯着大家这份不安设局行骗,有不少人跟着盲目操作,最后平白吃亏。其实不用过度紧张,并不是所有农商行解散都等同于破产倒闭,现阶段很多县域农商行获批解散,是按照监管要求推进的中小银行优化整合