ACE-Brain-0.6:扩展物理基础模型的视觉定位能力
论文 ACE-Brain-0.6 分析表明通用多模态模型具备强空间感知能力,为此提出统一数据流水线结合机器人操作记录与多元视觉数据,经自动标注转化为可验证的定位监督。
论文 ACE-Brain-0.6 分析表明通用多模态模型具备强空间感知能力,为此提出统一数据流水线结合机器人操作记录与多元视觉数据,经自动标注转化为可验证的定位监督。
研究团队推出 Embodied Playground,这是一个评估基础模型代理在长周期任务中协调物理、战略及空间推理能力的基准。该基准包含涵盖基础操作、顺序谜题和多阶段家务活动的 410 个环境,并精选出 EP-100 代表集(含 EP-Easy/EP-Hard 难度划分)及 EP-20 紧凑子集。
GTSM 提出一种无需预定义三维模型或热力学方程的通用热动力学模块,通过共享场景潜变量与高斯局部状态实现四维时空热场直接恢复。该方法结合可微 RK2 积分器支持连续动态传播,能无缝集成静态与动态高斯泼溅以完成变形目标的渲染及未来时间预测。实验在真实红外序列与合成数据上验证了其在重建精度与时序外推能力上优于现有基线,并证实了对变形目标的有效性。
Reservoir 宣布为华盛顿种植者启动新农业机器人孵化器,将初创企业置于果园与葡萄园中协同研究人员工作。该孵化中心位于其旗舰创新枢纽 Reservoir Farms – Salinas,拥有多个创新棚和 24 英亩专用商业测试田。此举旨在应对苹果、樱桃等难自动化作物面临的劳动力成本上升及 workforce 缩减挑战。
Kodiak AI 宣布其搭载 Kodiak Driver 的无人驾驶卡车在 Permian Basin 工业部署中创下连续运行 64 天的新纪录,期间从未断电重启。
推荐理由:Kodiak 宣布其 Gen6/Gen7 自动驾驶系统在 Permian Basin 实现连续运行新纪录,验证了物理 AI 在长周期无人货运中的工程可靠性。
舍弗勒于10月20日在太仓正式启用具身智能机器人数智工厂,该厂集智能装配产线、场景化训练及数据采集中心、数字孪生平台及算力中心为一体。工厂实现“机器人造机器人部件”的闭环智能制造模式,标志着关节模组等核心零部件正式投入量产。数智工厂采取开放合作模式,支持客户在工业场景下对物理AI系统进行训练和测试。
推荐理由:舍弗勒在太仓启用集智能装配与数字孪生于一体的数智工厂,实现机器人制造机器人部件的闭环模式。
该方法利用稀疏非线性动力学识别技术,从飞行数据中学习显式的物理约束控制效能映射模型。相比高保真在线模型或黑盒驱动方案,该模型在保持相当精度的同时大幅降低计算成本,并支持解析导数以适配包含执行器动力学的非线性求解器。系统还具备在线适应机制,能在检测到显著植物变化时刷新模型,从而在执行器故障及变工况下实现优雅重构与容错控制。
针对参考图像条件化视频生成器难以预测物理危害的问题,本文提出 ICAT 基准,利用结构化风险记忆和人工验证构建包含 909 个评估单元的测试集。结果显示,即便初始状态和风险动作被保留,六种主流生成系统中最强者在八选一筛选下的严重后果严格成功率仅为 23.5%,暴露了复现风险动作与生成其文档化后果之间的差距。该工作已接受 NeurIPS 2026 海报展示。
该论文提出 OccSim,这是首个不依赖预记录驾驶日志或 HD 地图等空间先验的 3D 占用世界模型驱动仿真器。系统仅需初始帧和自车动作序列即可稳定生成超过 3000 个连续帧(较此前最先进方法提升 80 倍),并融合成跨度超 9 公里的地图,定性测试甚至可滚动至 11 万帧以上。
推荐理由:该工作提出首个无需 HD 地图或日志布局的 3D 占用世界模型仿真器,生成长度提升 80 倍并支持超千米范围合成数据。
针对非结构化环境下机器人导航中物理模型难以捕捉非线性动力学、数据驱动方法泛化性差的挑战,本文提出 AnyNav 框架。该框架结合神经网络进行视觉感知与符号物理模型推理地形 - 车辆动力学,采用指令学习范式及双层优化训练摩擦网络,显著提升跨地形、多车型及工况的泛化能力。
论文介绍了一种名为宪法过滤器(CoFi)的方法,用于在存在法律政策、物理限制和操作偏好等复杂条件下预测智能体行为。该方法将机器学习与符号推理结合,通过贝叶斯估计框架确保智能体符合可解释的神经符号模型约束。研究在真实世界海洋交通数据上评估了 CoFi 的性能,展示了其在跟踪合规代理方面的改进效果,并证明了即使假设的宪法与现实不符,系统也能自适应调整信任度以恢复基线性能。
论文介绍 Prior-Informed Adaptation (PIA) 框架,该框架通过在异构低/高保真度仿真轨迹上预训练世界模型,并利用不确定性正则化规划进行在线适应,将仿真轨迹视为存在偏差的先验并在在线阶段修正残差差异。
该研究发现了磁触觉传感器存在的物理漏洞 PhantomTac,攻击者仅需在物体表面粘贴厚度约 0.5 mm、无电池的磁性标签即可篡改力感知数据。实验表明,这种隐蔽的攻击能绕过现有抗干扰机制并劫持闭环控制流程,在抓取位置偏移小于 8 mm 时攻击成功率超过 95%,可导致捏碎或掉落物体。论文提出了多模态一致性防御机制以缓解此类物理层安全威胁,相关内容已接受于 ACM CCS 2026。
推荐理由:研究揭示了磁触觉传感器的物理漏洞,提出了一种无需接触设备的隐蔽攻击方案及多模态一致性防御机制。
论文针对 LeWM 等潜在世界模型指出,使用环境范数(如欧氏距离)作为终端代价仅在目标附近有效,远距离会形成虚假低代价盆地导致规划失败。作者提出 Neighborhood Graph Cost (NGC),通过构建训练潜变量的互最近邻图计算流形上的最短路径距离来替代传统代价。
LowNet 提出一种仅含 24 个可学习标量的紧凑循环小波神经网络,用于高效求解泊松方程。在 10000 张图像实验中,该网络通过残差循环复用波let块,将 PSNR 从单循环的 47.27 dB 提升至三循环的 100.74 dB。该方法具备线性计算复杂度,可部署于多数设备并应用于流体动力学、图像重建及电磁场仿真等领域。
针对具身世界模型长时预测中潜变量演化易偏离物理演化的问题,本文提出结构化动力学框架 HWM,通过在广义坐标与动量构成的学习相空间中表示骨干潜变量,并利用耗散哈密顿动力学进行未来状态传播。
CROPS 提出一种基于 Cosserat 杆表示的端到端可微分优化框架,用于自主设计具有大变形和多物理场驱动能力的软细结构。该框架在两个案例研究中得到验证:一是设计能随颈动脉形态变化的膨胀支架,二是协同设计磁性导管剩磁与外场以减小插入力。系统同时处理自接触与外部接触,涵盖凝胶弹性体溶胀及硬磁复合材料磁致动两种机制,旨在满足个性化生物医学需求。
针对复杂非凸物体的碰撞检测瓶颈,本文提出了 ML-IST 方法,将内球树的叶节点生成重构为基于多通道体素几何的单步集合预测问题,并通过可微覆盖反馈修正残差及轻量级几何投影确保有效性。
本文系统研究了物理递归自我改进(Physical RSI)的机制、缩放行为与泛化性,引入 PhysRSI-eval 通过首次尝试性能、效率、成功率、预算和失败后改进五个维度量化 VLM 在 18 个操作任务中的表现。
推荐理由:该文提出物理递归自我改进观测缩放律,通过五轴指标量化 VLM 在操作任务中的表现与改进机制。
该研究通过强化学习框架,在 LEAP Hand 双手型上验证了触觉反馈对持续手内旋转的增益。仿真显示全触觉观测使类人手指布局每集平均归一化旋转提升 94.8%,对称布局提升 66.9%;硬件实验证实对称布局平均旋转次数高出 32.0% 且指尖总载荷降低 19.9%。结果表明更丰富的触觉信息能在更低平均负载下支持更大任务进度。
针对现有视频生成模型缺乏物理合理性量化的问题,本文提出了 PVBench 基准。该基准涵盖指令语义、行为因果、几何空间、材料属性等七个领域的 46 个维度,包含 600 条精心设计的提示词(其中 30% 涉及具身智能体)。
现有机器人价值模型评估仅覆盖部分执行理解方面,反馈可靠性不足。本文提出 RoboValue 基准,通过共享接口从任务状态理解、时间进度监控、故障恢复推理及价值一致性四个维度进行统一评估。
论文提出 PrismWAM,旨在解决世界动作模型(WAM)将外观与物理构型纠缠的问题。该方法将世界状态分离为语义上下文和受物理规律支配的演化过程,构建了从语义规划到物理卷展再到可执行动作的流水线。
推荐理由:提出将语义与物理状态解耦的 PrismWAM,仅凭 RGB 输入在仿真和真实环境中实现操作性能超越大规模预训练基线。
作者提出 ForagerSim 这一跨学科研究平台,专注于需要地图推理的具身任务,涵盖从搜救到觅食的多种场景。该平台支持感知、规模、拓扑、动力学和任务等维度的独立调节,并在八个示例世界中对比了强化学习基线、工程化机器人栈与人类玩家的表现。
Kinematic Age of Information (K-AoI) 提出一种结合瞬时笛卡尔速度的时空同步指标,将时间延迟转化为物理意义上的空间发散。研究在含六自由度机械臂、Unity 数字孪生及七种网络条件的测试床中验证,发现 K-AoI 与 AoI 的秩相关系数在卫星连接下降至 0.22,且拒绝通用帕累托分布假设。
针对视频模型存在的物理幻觉问题,研究提出了二维风险框架并开发 HA-Sampler 与 HA-Scorer。该方法结合外部物理引导与生成器内部信号,在 Physics-IQ 和 VideoPhy 基准测试中优于现有采样与评分的最先进基线。相关代码与数据许可状态待 arXiv 正式注册后确认。
PhysSkin++ 是一种无需针对每个物体进行网络训练的框架,通过自监督神经蒙皮技术从静态几何构建紧凑变形子空间。该方法结合皮肤场归一化与冲突感知梯度校正策略,在物理和正交性约束下实现联合优化,支持用户控制、接触交互及直接绑定网格、点云和 3D 高斯分布。实验展示了跨形状泛化能力、实时简化动力学以及在可控、碰撞感知和刚性互补动画中的应用效果。
该研究提出了一种针对自动化仓储内货架拣选任务的分析与离散事件仿真(Analytical-DES)基准,涵盖三种货架长度及至多 30 个拣选位共 180 种场景。
论文提出 DISCO(Distilled Tree Search over Continuous Actions),旨在解决长视界操作任务中策略需避免误差累积并保持未来可行性的难题。
针对早期部署时卫星几何限制导致的垂直定位精度不足问题,该研究提出利用月面站(SS)结合双差伪距多普勒及双向单程测距(DOWR)的辐射导航架构。蒙特卡洛仿真显示,在连接脊轨迹场景下,引入 SS 并将 DOWR 硬件偏差估计误差控制在 0.058±0.057 m 后,99.7% 垂直定位均值从 29.9 m 显著降低至 4.8 m。该方案通过直接辐射测距有效提升了月球自主漫游器的相对定位能力。
该研究指出当前评估指标可能掩盖物理不可行动作,引入 Visual-Semantic Traversability Alignment (VeSTA) 框架以对齐语义能力与具身实现。通过轨迹相对组策略优化和可通行风险批评机制,在 R2R 和 RxR 数据集上减少碰撞失败并保留导航性能;真实机器人实验表明学习到的偏好能迁移到仿真之外。
论文提出 SpaRV(Sparse Radiance Voxels),一种通过可微射线步进渲染的稀疏辐射体地图方法,旨在解决机器人仿真、导航和检测中对照片级真实且几何准确的地图需求。
推荐理由:提出 SpaRV 方法,利用稀疏辐射体与可微射线步进实现 LiDAR 与图像联合映射渲染,解决大场景几何一致性与显存限制问题。
FluidGen 模型在预训练视频模型中注入数据驱动的流体先验,利用双流架构预测帧级速度场以修正烟雾、火焰等流体现象的物理一致性。该方法结合 Houdini 仿真真值与真实世界流体视频数据进行混合训练,显著优于强基线及优化方法,解决了传统求解器难以处理野外影像的难题。项目页面已公开,相关代码与权重许可状态待进一步确认。
针对长序列操作因累积误差和搜索复杂度高的难题,本文提出向量量化世界模型(VQ-WM),将离散长程搜索与连续视觉反馈控制相结合。该方法利用首达时间估计器作为准度量以对齐控制器能力,在汉诺塔物理操作中仅凭短轨迹数据即实现 100% 成功率,并能泛化执行训练集未见的长序列解法;同时在涵盖操作与移动的多项仿真基准上,性能优于最强世界模型。
推荐理由:提出结合离散长程搜索与连续视觉反馈的潜在反馈运动规划框架,在汉诺塔任务中实现仅用短轨迹数据即达 100% 成功率。
论文提出自结晶行为树(SCBT)框架,将大模型作为编译器而非运行时组件,通过上下文多臂老虎机、CMA-ES 调优及三阶段准入管道筛选补丁。在 Project AirSim 仿真中,该方法在遭遇风切变和电池故障时,仅用约 11 次 LLM 调用即可将任务成功率从 12% 提升至 97%,最终固化为无需学习的确定性行为树。
现有方法难以兼顾运动复制与环境物理兼容性。本文提出 MotionShift 框架,利用大语言模型作为规划器生成轨迹,视觉语言模型作为评估器修正动作,以训练免费的方式实现高保真且符合物理规律的运动迁移。该框架可作为生成条件集成到现有的图像 - 视频模型中,已在多样复杂场景中验证了有效性。
针对松散风化层中轮式行星漫游器缺乏原则性恢复控制器的难题,研究提出了一种无需预定义动作的循环策略。该框架基于连续介质 MPM 仿真器验证,在 z/r=2.0 的陷阱配置下,平均逃脱成功率达 62.5%,显著优于最强脚本控制器(7/32)及噪声动作(0/32)。研究结果确立了测试仿真环境下的恢复能力,但物理迁移尚未得到验证。
论文研究了在策略改进过程中,固定视觉语言模型(VLM)对任务成功的判断偏差问题。实验显示,虽然成功率从 66.8% 提升至 97.0%,但剩余失败案例中位于托盘边缘下方的比例显著增加,导致 VLM 误判率上升。研究揭示了任务能力提升与故障可检测性之间的解耦现象,并呼吁在报告中同时包含绝对漏报、条件漏报和审计覆盖率指标。
该研究提出新框架,通过独立 SI 审计分离几何容许性、无反应执行器努力及功 - 能平衡以诊断视觉动力学。在 343 个平面装配体上评估显示,CON 模型相比持续性基准将图像 MSE 降低 37.6%/37.2%,RK4 训练使 KeyCLD 评分从 52.65 升至 64.30。尽管 CAD/IK 重建恢复了几何结构,但平均执行器残差仍超工程目标五倍,揭示视觉预测增益与剩余力能误差的区别。
LIBERO-Dynamic 是 LIBERO 基准的动态扩展版本,针对传统仿真中目标静止和推理瞬时的假设进行了改进。该工作通过接触摩擦驱动物体沿三条轨迹族和速度层级运动,并根据校准的模型特定推理延迟推进物理世界。