T-PAI 框架:从理论到全生命周期的可信物理智能实践指南
针对现有可信 AI 框架难以应对物理安全与不可逆后果的挑战,该研究提出涵盖核心能力、物理作用及五阶段生命周期的 T-PAIO 运营化方案。作者进一步构建了包含关键原则的 T-PAI 理论框架,旨在为治理可信物理智能系统提供基础。相关论文已作为预印本发布于 arXiv,目前处于公开评审阶段。
针对现有可信 AI 框架难以应对物理安全与不可逆后果的挑战,该研究提出涵盖核心能力、物理作用及五阶段生命周期的 T-PAIO 运营化方案。作者进一步构建了包含关键原则的 T-PAI 理论框架,旨在为治理可信物理智能系统提供基础。相关论文已作为预印本发布于 arXiv,目前处于公开评审阶段。
针对雨滴、围栏或灰尘等遮挡导致图像质量下降的问题,传统解决方案存在体积大或保真度低等局限。本文提出一种学习式分光谱金属镜(learned split-spectrum metalens),通过多波段光谱滤波将 RGB 通道频谱分为通带和阻带,利用金属镜聚焦远处物体光线并滤除近处遮挡物光线,再经神经网络增强信号。
论文测试了一种结合度量缩放物体几何、自定义物理参数和场景重建的管道,对比了默认开源方案在双机械臂机器人单元上的表现。实验显示,自建方案的仿真与现实评分皮尔逊相关系数为 0.90,而默认方案仅为 0.51;自建方案平均分数误差降低至 6.97 个百分点(默认方案为 17.54)。
arXiv 论文 PACT 提出一种端到端模型,联合从单目视频中估计人体姿态、环境接触点及接触力。该方法在人体重建基础模型上引入可学习的接触力 token 与时序 Transformer,利用物理监督增强运动与力的时空一致性。
推荐理由:提出端到端模型联合估计人体姿态、接触点与力,并引入物理监督与合成数据管线解决标注稀缺问题。
Magic-W0 是一种世界 - 动作基础模型,旨在弥补现有方法缺乏与控制紧密耦合的结构化世界表征的不足。该模型将交互定义为包含当前状态、过渡和未来状态的 Structured World Transition,其中当前状态结合视觉语言上下文与三维几何,过渡由捕捉动作诱导变化的三维运动表示,未来状态则由描述任务相关结果的未来语义表示。
推荐理由:该工作提出将结构化物理状态演化与连续动作联合建模的架构,在仿真基准上取得领先分数并验证了下游泛化能力。
CoDimRecon 提出一种智能体框架,从多视角 RGB 观测中重建包含刚性、铰接及可变形物体的可编辑场景。该方法利用场景级几何先验确定尺度布局,针对可变形物体分别生成中心线、流形壳层或水密实体以适配不同维度仿真。在 Replica 和 ScanNet++ 数据集上,该框架实现了具有竞争力的组合重建精度并支持机器人交互验证。
针对无人机高速飞行时因电池耗尽导致最大可用推力下降、进而引发轨迹跟踪性能退化甚至碰撞的问题,本文提出一种将电池和推进系统模型集成至非线性模型预测控制器(NMPC)框架的新方法。
PhysFlood 利用扩散模型仅凭单张鱼眼镜头图像即可合成逼真的城市洪水场景,并通过操控水位等物理变量自由生成多样化洪灾情况。定性人类评估实验表明,该系统生成的仿真图像兼具可接受的真实感与鲁棒性,有效缓解了现实环境中洪水数据短缺及鱼眼畸变带来的高精度仿真挑战。
论文提出一种基于代理模型的 CFD 方法,将水下航行器阻力估算速度提升 70 万倍,用于训练强化学习控制器。在真实海洋的 15 次独立测试中,该方法相比惯性盒模型使平均跟踪误差降低 19%、控制努力减少 31%,且对质量扰动具有鲁棒性。材料为预印本论文,未提及同行评审状态或开源代码仓库。
推荐理由:该研究提出用代理模型加速 CFD 数据以训练水下机器人控制器,在真实海洋测试中显著优于惯性盒模型。
论文介绍 Hebero(Heterogeneous Benchmark for Robot Learning),这是一个基于 Isaac Lab 的 GPU 并行仿真基准,旨在解决现有基准难以结合大规模异构操作任务与标准化多任务 RL 评估的问题。
针对现有视觉语言动作(VLA)模型无法处理任务执行期间物体移动导致的延迟问题,本文提出 AHEAD 框架。该方法通过冻结 VLA 并引入基于光流的小规模运动感知潜在世界模型进行预测,利用语言与运动显著性掩码聚焦关键区域,并在不确定性达到阈值时自适应停止预测。
推荐理由:提出 AHEAD 框架,通过冻结 VLA 并引入运动感知潜在世界模型解决动态操作延迟问题,在仿真与真实机械臂上显著优于基线。
这篇论文是接受于 ACM Computing Surveys 的综述,系统分析了物理仿真器如何解决具身智能中导航和操作任务的 sim-to-real gap。文章重点考察了以往研究较少关注的仿真属性、针对导航与操作任务的功能特性以及硬件要求。此外,作者整理了一份包含基准数据集、评估指标、仿真平台和方法的资源清单,旨在帮助研究人员在考虑硬件约束的前提下选择合适的工具。
推荐理由:该综述聚焦物理仿真在导航与操作任务中的 sim-to-real gap,分析硬件需求并提供基准数据集与工具选型资源。
该研究提出潜在安全滤波器,在低维状态表示上认证安全性以抵抗解析描述约束。实验构建系统证明,若丢弃的安全相关动力学不可检测,则不存在能传递至物理系统的证书;反之,当子空间可检测时,校准的屏障可在有限裕度下转移真实安全。
论文提出 TAPDreamer 攻击框架,利用公开编码器构建固定局部扰动以攻击世界动作模型,无需访问目标策略输出。实验显示,在闭环评估中,单个冻结补丁覆盖约 6.5% 输入即可将 FastWAM 在 LIBERO 基准上的成功率从 97.7% 降至 0.0%,并显著降低 DreamWAM 和 Motus 模型的成功率,表明保护下游动作生成不足以防御此类攻击。
推荐理由:提出 TAPDreamer 攻击方法,证明仅保护下游动作生成不足,需同时防御针对共享视觉编码器的持久局部扰动。
AffordCraft 提出一种无需框选或掩码的仿真资产构建方法,通过检索匹配库中铰接资产而非生成新结构,从单张 RGB 图像和任务指令快速生成符合物理规律的物体。
该研究提出分层规划框架,结合物理残差条件循环变分自编码器(p-cRVAE)与简化全身模型,在 40 步规划时域内将计算耗时降低约 80%。实验显示,该方法在四种场景下成功避免碰撞,并将布料最终形变从 0.93m 降至 0.28m,优于角跟随基线。
ArtifactArena 是一个开放平台,旨在通过衡量模型在物理环境中的工程与构建能力来评估前沿大模型。该平台让模型面临软硬件协同设计的挑战,需根据文本描述、物理仿真反馈和游戏数据构建功能完整的机器人。
DexForge 是一个基于可微物理的框架,用于将人类视频演示转化为高保真的机器人轨迹。该方法重建球状高斯物体模型和手 - 对象运动,构建结合高效高斯碰撞检测的可微仿真器,并融合接触感知的运动学重定向与力感知的动力学重定向以精确复现物理运动。
推荐理由:提出基于可微物理的框架,将人类演示转化为高保真机器人轨迹,在七种灵巧手实验中将成功率提升约 35-53 个百分点。
该研究在 MuJoCo 中扩展了多模态婴儿模型(MIMo),引入可动护养者以复现抱持与安抚等双人互动,并记录婴儿视角的触觉与视觉流。系统通过原点感知接触日志区分自我、护养者与环境的接触,支持生成用于社会交互发育建模的多模态数据集。
针对欠驱动双足平台难以在不破坏平衡的情况下避障的问题,论文提出一种分层强化学习框架:高层策略输出全身速度指令,低层策略通过 PD 控制跟踪关节目标,两者联合训练。
推荐理由:论文提出分层强化学习框架解决欠驱动双足机器人的避障运动,在 PyBullet 仿真中实现高成功率并验证了各观测通道与奖励项的贡献。
针对四足机器人在不平坦地形上运输无固定堆叠货物的难题,本文提出 Payload-Adaptive Multi-Objective Reinforcement learning for Transportation (PAMORT) 框架。
推荐理由:提出 PAMORT 多目标强化学习框架,在仿真与宇树 Go2 真机零样本迁移中实现无传感器堆叠货物稳定运输。
该研究提出一种基于扩散模型的轨迹生成方法,通过组合学习到的接近锥与传感器视向等独立能量模型来灵活配置任务约束。实验验证显示,组合框架在满足约束率上仅比单约束模型低 1 个百分点以内,实现了无需重新训练即可重构新约束组合的模块化设计。
针对 Sim-to-Real 策略共训练中仿真演示价值挖掘不足及缺乏统一效用度量标准的问题,本文提出 TUCO 方法。该方法利用影响函数追踪源演示对目标域评分回滚的影响,将效应分解为整体贡献与变异性,以此构建闭环基础来衡量轨迹效用和集合覆盖率。
推荐理由:提出 TUCO 方法,利用影响函数分解轨迹效用并优化仿真演示集,在 RoboMimic 和 OmniReset 上实现 SOTA。
On Tai Tang 等人提出了 Long-MDR,这是一种专为长上下文(128k)和多模态交互(75+ 轮工具调用)设计的在线强化学习训练配方。针对早期策略弱导致资源浪费、后期熵坍塌导致学习过早结束的问题,该方法结合了同策略蒸馏预热、渐进式视界扩展和熵触发救援三种技术。
论文提出 GeoBridge-VLA 方法,旨在解决具身智能中语义信息与空间推理的融合问题。该方法包含两个阶段:首先训练特征桥接器和几何解码器以学习深度监督下的几何特征;随后冻结这些模块并训练门控残差接口及动作侧投影与专家网络。
针对水下车辆控制器训练环境与部署环境物理表示不一致导致性能无法外推的问题,本文提出了一种统一的动力学框架。该框架在 NVIDIA Isaac Sim 中为六自由度遥操作车(ROV)构建了包含真实质量、附加质量、阻尼和浮力参数的管道跟踪架构。
推荐理由:该工作提出了一套统一的动力学框架,在 Isaac Sim 中同时验证了强化学习与经典控制算法在水下管道跟踪任务上的表现与稳定性。
论文介绍了 TANav 框架,该方法利用短暂轻推测量容器阻力以支持导航决策。系统 TacPhys 读取力序列并结合 RGB-D 数据估算质量,规划器在重复巡逻中权衡探测与路径成本。
针对凸刚体避障问题,现有方法常依赖微分优化计算梯度带来开销。本文提出 GJK-CBF,利用 Gilbert-Johnson-Keerthi 算法获取见证点对并直接构建梯度,无需微分优化。该方法适用于 2D 和 3D 环境中的各类凸刚体对(至少一方严格凸),已在多机器人位置交换、三维垂直狭缝导航及机械臂操作等场景验证,实现了无碰撞运动并降低了几何近似带来的保守性。
推荐理由:提出 GJK-CBF 方法,利用 GJK 算法直接构建凸刚体避障控制屏障函数梯度,避免微分优化开销,在 2D/3D 多场景验证了无碰撞运动。
论文提出一种基于采样的扰动观测器(SDOB),将其应用于传统解析模型、仿真器及学习到的世界模型中。该方法将状态效应与成本扰动分离,利用状态回滚或代价查询接口估计未测量干扰。实验表明 SDOB 能有效补偿仿真到现实的差异并提升控制性能。材料为预印本论文,包含完整正文与图表数据。
针对视觉语言动作(VLA)和世界动作(WAM)模型在分布外任务中表现下降的问题,本文提出 RoboIRS 方法,利用成功与失败的执行轨迹训练线性分类器以选择干预位置并推导特定任务的引导方向,无需更新策略参数。
推荐理由:提出无需更新策略参数的推理时内部表征引导方法,在冻结策略下将仿真成功率从 44.4% 提升至 66.2%,并在真实机器人与世界模型上验证有效。
该研究提出一种端到端基于可微有限元(FEM)的框架,用于解决气动软体机器人非线性动力学建模难题。通过自动转换 CAD 设计为四面体网格并融合点云数据,框架在复杂波纹管状机器人上实现了最大位置误差小于 3mm 的高精度建模。实验验证了其在路径跟随与抓取等真实世界运动规划任务中的有效性,相关论文已发表于 IEEE RA-L。
论文提出 ForeAct3D 框架,旨在解决现有视觉语言动作(VLA)策略预测未来观测时与执行动作解耦且缺乏物理约束的问题。该方法利用可学习几何查询从策略表示中解码深度、语义分割和相机姿态,将未来查询条件于策略生成的动作块以锚定规划交互。
Video2World 是一个包含 189 个机器人和人类演示视频、共 222 个重建实例的基准,用于评测前沿基础模型和编码代理在自动化构建交互式仿真环境方面的能力。该研究将自主视频到仿真的过程定义为软件工程任务,通过执行反馈迭代优化结果。评测结果显示,从 Claude Opus 5 开始任务成功率显著提升,但视觉保真度高的世界并不总是能带来更高的任务成功,反映了感知现实与事实正确性之间的差距。
该研究提出了一种可微分的拉格朗日耦合3D高斯泼溅(3DGS)与光滑粒子流体动力学(SPH)模型,旨在实现形变固体的前向仿真和逆分析。方法首先利用多视角校准视觉数据集将观测物体重建为3DGS渲染模型,随后通过包络过程生成独立的SPH支撑以构建力学模型,避免直接使用渲染原语作为机械粒子。
针对沙丘等颗粒斜坡上腿部机器人因剪切强度降低和重力各向异性屈服导致的运动难题,研究团队利用六足机器人在可倾斜颗粒床上的实测数据,系统测量了随坡度变化的法向与切向阻力。研究发现性能损失主要由锚定延迟和后滑引起而非过度下陷。据此构建的机器人 - 地形交互模型能预测锚定时序、步长及速度,并扩展出失效相图以量化运动风险,为变形斜坡上的安全操作提供物理信息框架指导。
WAMRViT 提出一种基于波let启发准则的平衡四叉树输入分块机制,首次原生支持多级别自适应网格细化(AMR)数据并实现推理阶段细胞空间重网格化。该模型在均匀网格基准测试中显著降低感兴趣区域误差且 token 用量更少,在复杂燃烧问题等无法用固定网格表示的场景下大幅减少 finest-level 误差。
论文 SUAVE 提出了一种名为 SUAVE 的单词汇统一动作 - 视频模型,利用掩码扩散 Transformer 同时处理语言、视频和动作模态,并将三者表示为共享序列中的离散 token。
推荐理由:SUAVE 提出基于掩码扩散的统一架构,在单一网络中通过推理时的掩码选择实现世界建模、策略生成与视频预测的切换。
论文提出了 MOSAIC-SV 系统,这是一种可部署的实时自适应动力学辨识与控制方案,能从规格书先验出发无需专用试验即可识别控制充分模型,并在闭环任务中每步重估。系统在仿真 CyberShip II 植物上恢复校准模型性能,在 Blue Robotics BlueBoat 水上实测中航行速度提升至少 25%、预测误差降低至少 56%,并已在 6.3 吨单体船概念验证。
Google DeepMind 于 2026 年 10 月 5 日发布物理引擎 MuJoCo 3.15.0,解决了 64 位模型在 mj_saveModel 和 mj_loadModelBuffer 中超过 2 GiB 的序列化限制。此次更新还引入了实验性的非插值 3D 弹性简化算法、胶囊几何体的单次多接触检测以及 insidesite 传感器的封闭属性测量功能。
TouchTherm 是一个从真实物体构建仿真就绪的视觉 - 触觉 - 热多模态资产框架。它结合结构光扫描与光度立体法获取的微面法线图,恢复局部微高度场以支持光学触觉渲染;同时通过受控加热后的同步红外视频重建物理正则化的动态温度场。