TriPhysBench:评估具身智能体物理智能的基准与框架
论文介绍 TriPhysBench 基准和 TriPhys 框架,旨在评估和提升具身智能体的物理感知、知识检索及定量推理能力。基准包含来自 200 个视频的 410 个问题,涵盖测量驱动与知识驱动的子任务;现有六款视觉语言模型中最佳者准确率仅 50.38%。
推荐理由:该工作提出 TriPhysBench 基准与 TriPhys 框架,揭示现有模型在物理感知、知识检索与推理协同任务上的不足并提供改进路径。
技术方向
物理仿真、数字孪生和仿真到现实,保留物理设置、平台条件和实机迁移证据。
425 条精选近 30 天 289 条共收录 1,722 条
论文介绍 TriPhysBench 基准和 TriPhys 框架,旨在评估和提升具身智能体的物理感知、知识检索及定量推理能力。基准包含来自 200 个视频的 410 个问题,涵盖测量驱动与知识驱动的子任务;现有六款视觉语言模型中最佳者准确率仅 50.38%。
推荐理由:该工作提出 TriPhysBench 基准与 TriPhys 框架,揭示现有模型在物理感知、知识检索与推理协同任务上的不足并提供改进路径。
VerifLM 是一个将图像编辑生成的目标配置转换为经物理验证的六自由度物体位姿的框架。该方法利用编辑后的图像恢复主动与被动物体间的初始相对位姿,提示视觉语言模型生成分轴采样约束和任务特定验证程序,并在物理模拟器中评估候选位姿。
推荐理由:该框架将图像编辑目标转化为经物理验证的位姿,在无需预定义网格的情况下实现高成功率。
论文提出一种基于仿真的协同设计框架,联合优化材料分布、气动执行器位置与朝向及控制策略,生成可直接通过熔融沉积建模单体 3D 打印的软体机器人设计。该方法采用可微分二维平面应力质点法模拟器,结合实验验证的材料模型和充气执行器的经验代理模型,实现了从任务级目标到物理可实现软体机器人的路径。研究展示了基于梯度的优化生成的软体机械臂能复现仿真预测的行为,且无需后组装即可直接转移至单次单体打印制造。
推荐理由:该工作提出基于仿真的协同设计框架,联合优化材料分布与气动执行器布局,实现单体 3D 打印软体机械臂并复现仿真行为。
KlaskTron 是一个基于动态桌面游戏 KLASK 的低成本(<2500 美元)桌面级机器人测试床,旨在解决物理多智能体强化学习基准稀缺的问题。该平台配备双 CoreXY 龙门架和高扭矩无刷电机,支持高速精确操作。项目完整开源了硬件 CAD/BOM、NVIDIA Isaac Lab 数字孪生仿真环境以及经过验证的零样本策略迁移基线(使用学习到的神经执行器模型),所有资产均公开以确保证据可复现。
推荐理由:开源低成本桌面级对抗多智能体强化学习平台,含硬件设计、数字孪生及零样本策略迁移基线。
作者构建了 KlaskTron-IL 基准,包含 80k 物理机器人采集的人类演示、320k 对称增强数据及由零样本验证策略生成的合成轨迹。该基准揭示了标准模仿学习方法在富接触对抗动力学下的三种典型失效模式:行为克隆的数据扩展瓶颈、GAIL 判别器梯度弱以及行为克隆先验与奖励密度的非对称交互。由于策略接口与硬件执行器模型一致,在此范围内训练的强基线策略可直接迁移至物理机器人运行。
推荐理由:作者构建了含接触对抗的模仿学习基准,提供零样本仿真到现实迁移策略与诊断基线,揭示标准方法在复杂动力学下的失效模式。
针对接触式机器人操作受末端执行器可达性和物体机械性质限制的问题,本文提出了一种基于气流的非接触式操作强化学习框架。作者开发了适用于 Isaac Lab 的通用气流扩展模块,利用实验识别的气流模型计算对物体的力和力矩,支持大规模并行训练。
推荐理由:作者提出基于气流的非接触式操作强化学习框架,在 Isaac Lab 中实现并行训练,并在真实世界零样本部署中验证了混合推吹策略与矩形重定向策略的有效性。
论文提出 History Forcing 统一在线策略蒸馏框架,旨在解决少步自回归视频扩散模型在长序列生成中的一致性难题。该方法利用教师模型在有/无历史信息下的预测残差来解耦监督信号,将历史信息约束融入学生模型的分数或速度预测目标中。
推荐理由:提出 History Forcing 蒸馏框架,利用历史信息约束长序列生成,在 1.3B 参数规模下实现 VBench 质量分 85.07。
Joyjeet Singh 在 arXiv 上发布论文,复现了 Robotic World Model (RWM) 的动力学模型,并针对其后续版本 RWM-U 用于离线策略优化的不确定性估计进行了测试。
推荐理由:作者复现了 Robotic World Model 的动力学模型并测试了其不确定性估计,发现其误差覆盖严重不足且存在缺陷。
该论文提出了 CUE 系统,旨在解决仅凭相机观测无法捕捉摩擦和恢复系数等接触丰富动力学的“动力学差距”问题。该系统在无需重置的情况下,根据高层指令自主构建感知、识别物理参数并针对仿真误差最大的区域进行交互。实验显示,CUE 在模拟环境中将台球位置预测误差降低了 72%,并已部署到真实台球桌上。该工作已接受为 CoRL 2026 晚些时候的突破性成果。
推荐理由:提出 CUE 系统,通过自主交互填补仿真与真实世界的动力学差距,在台球任务中将误差降低 72%。
该论文提出一种基于数据学习的神经积分控制屏障函数方法,利用神经 ODE 学习动力学、模仿学习获取名义控制器、监督回归构建屏障函数,从而在无需几何标签的情况下确保状态安全。
推荐理由:提出用神经 ODE 学习动力学、模仿学习控制器与回归屏障函数,构建无需几何标签的积分控制屏障函数,在敏捷避障任务中消除不安全样本并优于基线。
针对现有世界动作模型(WAMs)因需显式想象未来状态而导致计算开销大、难以满足实时控制的痛点,本文提出 W2A 框架。该方法在训练阶段将视频扩散模型的中间去噪表示蒸馏至动作模型,测试时完全丢弃视频模型,假设压缩的低维子空间足以提供有效监督。实验表明,W2A 在 LIBERO 基准上平均成功率达 95.9%,推理速度比代表性 WAM 基线快约 21 倍,兼顾了高成功率与高效率。
推荐理由:提出将视频扩散模型的中间去噪表示蒸馏至动作模型,测试时完全丢弃视频模型,在保持高成功率的同时显著降低推理延迟。
针对分层控制在接触、平衡或扰动快速变化时固定规划器接口失效的问题,本文提出 EPO 方法,通过为每个低层策略学习复合能量模型来实时选择最优的策略 - 目标对。该方法允许在不重新训练现有策略的情况下融入新策略,并在仿真中改善了精度与鲁棒性的权衡,同时展示了在真机人形行走操作任务上部署冻结策略与能量模型的可行性。
推荐理由:提出基于能量的策略编排方法,在仿真与真机人形操作任务中提升模块化策略的可行性与鲁棒性。
该论文提出了 IMUdrape 方法,旨在解决衣物挂载传感器因布料滑动、扭转和摆动而记录到额外运动信号的问题。该方法通过文本描述活动以合成运动,从照片重建目标服装的缝纫图样,并在真实传感器的部署位置放置虚拟 IMU,利用无接触穿透求解器进行物理仿真,从而生成成对的服装与身体信号。
推荐理由:针对衣物挂载传感器因布料形变导致数据稀缺的问题,该方法通过物理仿真生成虚拟 IMU 数据,在真实数据集上显著提升了动作识别与姿态估计性能。
该论文提出了 GEAR(Generative Editing for Asset Retrieval)框架,旨在解决虚拟环境中用户着装需与周围场景和谐共存的挑战。
推荐理由:提出 GEAR 框架,通过生成中间查询桥接场景与服装资产跨域差距,在虚拟旅行场景中实现实时检索与试穿。
该论文测试了将 MLP 世界模型替换为具有升维状态空间线性动力学的 Koopman 结构后,对 Unitree G1 全身体跟踪策略的影响。实验发现 Koopman 结构并未带来性能提升(返回精度持平甚至略低),且训练速度变慢约 15%。研究指出,由于策略动作跨越曲率区域,仿射模型仅在策略操作点切线处准确,而 MLP 能直接读取动作信息,因此在固定状态下表现更好。
推荐理由:实验表明在 Unitree G1 全身体跟踪任务中,Koopman 线性结构并未提升可微世界模型性能,MLP 仍是更优选择。
该研究针对交互式视频世界模型在撤销动作后无法正确读取当前状态的问题,提出了一种名为 ReDate 的方法。该方法利用智能体行动日志中的有效时间戳对检索到的帧进行标记,使冻结的生成器能区分新旧视图而无需重新训练。
推荐理由:提出基于有效时间戳的 ReDate 方法,无需训练即可解决交互式视频世界模型在撤销操作后的状态读取错误问题。
该论文介绍了 Team Friday 在 MetaFine Open Competition(CoRL 2026)中的二名解决方案。团队未微调大模型,而是为每个任务训练了独立的 19M 参数策略与指令分类器,数据由模拟器中的特权脚本化教师生成。
推荐理由:报告提出通过设计可模仿的虚拟教师来纠正学生策略,在 MetaFine 挑战赛中实现分数翻倍。
论文指出当前世界模型虽在图像相似度上表现优异,却忽略了质量、形变等关键物理细节。作者提出 Roz 评估框架,包含 10 个对比任务和 3 个连续任务共 1734 个场景,仅需静态帧或视频输入即可运行。该研究旨在推动基准测试的快速迭代与跨模型比较,并已在 NeurIPS 2026 相关研讨会接受。
推荐理由:提出 Roz 评估框架,通过对比与连续任务验证世界模型是否编码物理属性,解决现有评测不透明问题。
该论文研究了联合嵌入预测架构(JEPAs)在 LeWorldModel 中的测试时间鲁棒性。分析发现,物体状态主导了潜在距离,但编码器无法轻易隔离或重定向这种几何结构。实验表明,仅对单帧输入施加极小的白盒扰动即可让编码器将物体姿态记录为攻击者任意选择的状态,导致 Push-T 等任务的规划成功率从 87% 骤降至 32%,且该漏洞在四个标准基准测试中均存在。
推荐理由:该研究揭示了 LeWorldModel 在测试时对微小图像扰动的脆弱性,攻击可诱导规划器将物体状态误判为任意姿态,导致任务成功率大幅下降。
论文介绍 Adaptive-WAM,这是一种构建于 Wan2.2-5B 骨干网络上的质量感知多出口规划器。该方法将轨迹扩散头附加到选定的 DiT 块上,利用轻量级评分器在满足质量阈值时终止推理,从而避免完整的迭代去噪和 VAE 解码过程。
推荐理由:该工作提出基于中间层特征的质量感知早退规划器,在 NAVSIM 上取得最佳结果并实现低延迟推理。