Jev 1.13 决策模型控制器提升智能体成本却未改善成功率
Jev 1.13 在 Terminal-Bench 2.1 的 21 项任务中,将智能体尝试成本提高 19% 但保持 73.0% 通过率不变。该模型虽比小 LLM 控制器便宜,却因校准偏差导致不必要的验证请求。研究代码已开源,结论表明决策模型控制器在降低成本方面存在局限。
Jev 1.13 在 Terminal-Bench 2.1 的 21 项任务中,将智能体尝试成本提高 19% 但保持 73.0% 通过率不变。该模型虽比小 LLM 控制器便宜,却因校准偏差导致不必要的验证请求。研究代码已开源,结论表明决策模型控制器在降低成本方面存在局限。
该研究指出大语言模型在物理推理任务中常因内部公理世界模型(AWM)与题目指定的真实物理世界存在偏差而失败。为此提出强化学习与公理化世界建模(RLAWM)框架,在训练阶段通过分层奖励机制分别监督抽象知识构建和具体推导过程,以缩小 AWM 与真实世界的差距。实验显示该方法在 PhysReason 基准上提升最高达 12.2 分,并在奥赛级物理数学任务中实现零样本泛化增益。
Torc Robotics 与 Mila、NYU 合作发表论文,展示如何用自博弈强化学习训练从相机图像驱动的端到端模型。方法先利用简化渲染器 Gigapixel(单卡 A100 每秒约 5 万步)训练结构化输入的强化学习教师策略,再通过 DAgger 蒸馏至相机学生策略并适配真实感知。
推荐理由:Torc 提出自博弈强化学习解决端到端智驾数据稀疏瓶颈,通过结构化教师蒸馏至相机策略并适配真实感知。
PathFM 是一种利用流匹配技术生成完整未来路径的时间序列基础模型,其蒸馏采样器能在单次量化查询时间内为单系列生成多条路径。该模型在 fev-bench 和 TIME 基准上达到具有竞争力的边缘精度,并在新增能量与变差函数指标的 fps-bench 上优于所有外部基线。实验表明其在混沌系统中能维持长期变异性,而强基线则迅速崩溃。
IEEE Spectrum 发布“视频周五”精选,展示 JSK Lab 通过线缆连接两机器人使其融合、Microducks 经蓝牙同步即兴合唱等趣味演示。Google DeepMind 利用 Gemini 4 Argon 构建 MuJoCo 虚拟仿真,使 Apptronik Apollo 2 人形机器人在真实世界连续投中七次玉米洞球。
Torc Robotics 联合 Mila、NYU 等机构发表论文,提出自博弈强化学习(Self-Play RL)方案解决端到端智驾模型在长尾场景下性能停滞问题。
同一新闻,精选展示《Torc:超越模仿学习,自博弈强化学习赋能端到端自动驾驶》
论文介绍 Data World 多智能体引擎,该引擎在生成文件前显式指定其背后的世界机制,以解决数据代理训练中环境成本高、隐私限制及结果难验证的问题。研究通过人类偏好筛选出涵盖 16 个领域的 50 个保留世界的 100 个任务构建基准,并生成了来自 1,037 个独立世界的 2,135 个训练任务。
推荐理由:提出 Data World 引擎,通过合成环境与任务解决数据代理训练的隐私与验证难题。
论文介绍 FDE-Gym 基准,包含来自 18 个行业、20 种场景的 95 项端到端交付任务,模拟具有脚本化利益相关者和可修改系统的生产环境。评估显示,在需发现未声明约束的真实设置中,最佳配置平均得分为 0.56,仅解决 14 项任务;即使获取所有关键事实,能实现高业务提升的任务也仅有 10 项。
推荐理由:该基准通过模拟真实交付场景,揭示了模型在发现未声明约束时的性能瓶颈及从事实到有效解决方案的差距。
该论文介绍 OmniVerifier-C1 模型,这是一种将复杂提示或环境规则自动分解为细粒度组件并分配逐点分数的视觉验证器,以提供连续且信息丰富的批判信号。研究通过解耦强化学习策略联合优化子问题二元判断与全局对齐评分,在迷宫和数独等结构化世界建模任务中证明了该方法的有效性。
论文介绍 CoWorld Reasoner 框架,该框架将视频世界模型(VWM)作为统一的视觉推理引擎,通过工具调用和技能引导 VLM 进行灵活的视觉想象与空间、因果及感知推理。
推荐理由:提出利用视频世界模型作为统一视觉推理引擎的代理框架,在多项基准测试中优于直接推理。
上海初光跃迁智能科技有限公司(Simate)近日完成工商变更,小米旗下瀚星创投与百度旗下三亚百川致新成为股东,创始人张颖接任法定代表人。该公司定位为 Physical AI 企业,研发方向为“AI for Physical AI”,技术路线采用物理智能递归自我改进(Physical RSI)。
论文提出了 DuplexBridge 框架,旨在解决复杂图像编辑中任务解释失败难以归因的问题。该方法利用统一模型自身的理解能力来增强其生成提示,无需外部理解模块。
推荐理由:提出 DuplexBridge 框架,利用模型自身理解能力增强生成提示,在 CE-Bench 等基准上显著提升了图像编辑的完全合规率。
该论文提出了 RSIgen 框架,旨在解决统一多模态骨干网络中生成器更新导致智能体动作监督过时的矛盾。通过动态责任路由(DRR)匹配证据、输入与受支持动作来选择学习接收者并构建兼容训练目标;在生成器学习后重新评估测试动作的相对效用以刷新智能体监督,并由保留角色构建下一轮课程。
推荐理由:提出 RSIgen 框架,通过动态责任路由解决生成器更新导致的监督过时问题,在多个模型上提升任务成功率与视觉质量。
针对现有世界动作模型(WAM)在长视界任务中因过度依赖当前观测而忽略关键历史信息的问题,该研究提出 RM-WAM 框架。该方法将记忆视为上下文相关的预测资源,利用互补的短期视觉状态记忆和潜在事件记忆分别捕捉近期交互动态与长期状态转换。
arXiv 论文 LIMBO 提出了一种框架,通过从黑盒状态转移中学习状态 - 动作控制屏障函数,并将其安全结构蒸馏到任务策略中。该方法在冻结基控制器周围对残差动作进行基于剩余的安全证书合成,使 Q-CBF 合成在全控制维度上可行。实验在一个拥有 29 个自由度的类人机器人上进行了躲避球和跨越低障碍物的运动演示,展示了学习到的策略无需在线安全过滤即可直接迁移到硬件。
推荐理由:该框架将安全证书蒸馏至任务策略,使学习到的安全合成可扩展到全身敏捷控制且无需在线安全过滤。
针对遥感多模态大模型场景专业化受限问题,该方法提出“先填后推”策略,构建含 RGB、SAR 等多源数据的 CPRS 数据集及 HarborEval 评测基准。
论文提出利用受约束逆运动学(IK)作为受控设置,以解析地评估扩散模型学习的内在几何结构。研究在 6-DoF UR5 和 7-DoF Franka 机器人上训练条件扩散模型,结果显示模型得分函数恢复的内在维度与约束流形的分析自由度一致,且潜在空间线性插值生成的解能保持在相应约束流形附近。该工作为理解扩散模型在具身智能中的几何表征能力提供了理论依据和实验基准。
arXiv 论文介绍了 VOiLA 框架,旨在解决部分可观测马尔可夫决策过程(POMDP)中的不确定性规划问题。该框架通过条件扩散模型学习任务无关的 POMDP 世界模型,并将采样器蒸馏为紧凑的前馈生成器以集成到向量化在线 POMDP 规划器中。
推荐理由:该研究提出 VOiLA 框架,利用蒸馏后的扩散模型实现 POMDP 在线规划,在仿真数据上实现了物理机器人任务的完美执行。
PathPainter 是一个面向地面及近地面机器人的导航系统,利用鸟瞰图(BEV)作为全局先验,通过图像生成模型解析自然语言意图并生成可通行掩码,同时引入跨视角定位以消除里程计漂移。该系统在四足机器人平台上成功完成了 285 米的户外长距离自主导航任务,验证了基础模型的泛化能力向具身导航迁移的有效性。
针对现有单图三维室内场景生成方法常违反物理约束的问题,本文提出 PhyMix 框架。该框架引入包含几何、接触、稳定性等九个子约束的物理评估器(Physics Evaluator),并通过隐式对齐与显式修复两个组件改进生成结果:利用 Scene-GRPO 策略在训练中引导生成器符合物理布局,并在推理阶段通过代理执行编辑技能修正残留违规。
针对类人机器人在杂乱环境中跌倒后恢复的关键需求,本文提出统一视觉驱动的防摔安全方法,将姿态、动力学与地形耦合至单一数据空间的问题分解为结构化姿态对齐与环境目标解释。
arXiv 论文介绍 Mallea 系统,该系统利用编码智能体从文本提示中推断物体交互需求,联合规划物体结构、属性及规则以支持紧凑表示。系统通过生成式渲染器结合当前结构与记忆的纹理外观来推进世界状态,并允许用户动作引导演化或编辑属性而不影响现有状态。材料为预印本版本,未报告真实机器人部署结果。
推荐理由:原文提出 Mallea 系统,通过编码智能体构建可编辑的文本驱动世界模型,支持对象交互规划与纹理记忆。
该论文提出了 SHRED 框架,通过大规模异质性自博弈联合训练车辆、行人和骑行者,无需依赖人类驾驶演示或轨迹回放。实验显示,该方法在 Waymo Open Sim Agents Challenge 中优于无演示基线及参考策略方法,且在 nuPlan 地图几何零样本评估下保持真实感;在交互密集的 InterPlan 基准上规划性能全面领先。消融研究表明自博弈中的异质性显著提升了交通真实性和规划效果。
推荐理由:提出无需专家演示的异质交通参与者自博弈框架,在仿真挑战中优于基线并提升规划性能。
该论文挑战现有 AI 范式与世界模型的感知推理能力上限,定义有效连贯认知速度作为衡量系统在现实快速变化下保持行为可靠性的基准。研究通过强化学习代理在不重训情况下将现实变化速度提升 50 倍进行评测,发现受细胞机制启发的 Co^4 架构在 Transformer 和门控 MLP 基线上均取得显著更高的有效连贯认知速度,论证了扩展连贯认知作为可靠 AI 原则的可行性。
论文介绍 T2-Z 方法,该方法为机器人世界模型引入可学习的无监督环境潜变量,在训练阶段交替优化动力学与潜变量结构,在测试阶段仅凭少量交互即可适配新环境。实验显示,该方法在仿真和真实任务中将物体预测误差从 15.20 降至 7.00,动作成功率从 33.73% 提升至 72.96%,且能高效捕捉环境与物理因素的联合表征。
推荐理由:该工作提出在测试时优化环境潜变量以适配未见过的环境配置,显著降低预测误差并提升任务成功率。
论文介绍了 P^3-WAM,这是一个用于第一人称灵巧操作的统一世界动作模型,通过学习感知、预测和规划三种互补模式来整合 3D 动作表示与预训练视频扩散 Transformer。实验表明,统一训练在四个数据集上的 3D 手部重建、动作条件视频预测以及指令遵循度上均优于专用基线,且无需将单一任务拆分为独立模块。
推荐理由:该工作提出了统一的 P^3-WAM 模型,通过单一架构同时实现手动作重建、视觉未来预测与目标导向规划。
论文介绍 CoDA 框架,解决生成式仿真环境物理有效但不利于训练的问题。该框架通过共享异构记忆实现仿真数据引擎与动作策略的协同进化,利用视觉语言批评将验证后的诊断转化为重建困难和辅助训练的生成程序。
推荐理由:该框架通过共享记忆让仿真引擎与策略协同进化,利用视觉语言批评生成针对性训练程序,在四个操作任务家族中将分布外成功率从 5.3% 提升至 27.6%。
该论文提出 GeoState,一种用于预测性 3D 世界建模的视角解耦几何表示方法。该方法通过场景 tokenizer 聚合多视图基础模型特征以生成与相机无关的场景状态,并由几何解码器利用相机射线查询;自回归世界模型预测未来场景状态,同时单独建模相机运动。
论文提出 DSP(Dexterity from supervised play)框架,机器人通过行为克隆从几分钟的人类游戏中学习策略,进而自主执行以收集小时级交互数据用于训练世界模型;推理阶段利用该策略引导模型预测控制并蒸馏闭环策略。
推荐理由:提出 DSP 框架,通过监督游戏自主收集数据训练世界模型与策略,在少样本下实现灵巧操作。
该研究提出一种基于视觉引导最优控制的自主运动规划框架,使推进式无人机能在月球表面于指定航点间执行安全高效的抛物线跳跃。系统通过自定义语义分割模型识别障碍物、快速计算可达地形,并利用模型预测控制(MPC)稳健跟踪轨迹以引导至安全着陆位。团队在高保真月球仿真环境中测试了最优跳跃规划器,验证了该统一框架能生成可被 MPC 快速且低误差跟踪的安全、节油飞行轨迹。
这篇论文提出了一种针对具身智能机器人的通用解决方案,通过整合全身体模型预测控制器(WB-MPC)和扩展卡尔曼滤波(EKF),实现了对物理一致的时间变化惯性参数的在线估计。
论文指出世界模型规划器在部署时面临计划轨迹与实际执行不一致的问题,直接替换预测轨迹效果有限。作者提出 ExecutionBridge 方法,通过推断控制器特定的执行特征来适配原生自我潜变量展开,同时保持原计划轨迹和冻结的规划器、世界模型及奖励头不变。该方法在 NAVSIM 基准上对未见过的控制器配置和多款冻结规划器均能提升规划性能,尤其在驾驶场景复杂时增益显著。
推荐理由:针对冻结的世界模型规划器与控制器执行偏差问题,提出 ExecutionBridge 方法以适配执行特征。
该研究提出 VeriVLA,旨在解决基于噪声的 VLA 策略在测试阶段无法评估样本质量的问题。该方法采用无需训练的触发机制,利用两个初始样本测量时间变异性和跨样本方差以检测关键状态;一旦触发,便使用 JEPA 架构的潜在世界模型预测动作条件化的未来潜在状态及任务进度变化,从而对候选动作块进行排序。
推荐理由:该方法在无需训练的情况下,利用潜在世界模型对基于流的 VLA 策略进行测试时验证,将笔插入等三项真实任务的平均完成度从 50.8% 提升至 65.5%,并在仿真环境中实现稳定增益。
论文提出了 TS-WAM,一种轻量级教师 - 学生世界 - 动作模型,旨在解决依赖动作标记演示且缺乏显式未来视觉状态预测机制的问题。该架构通过自监督时序学习和显式未来预测,利用 vlm-jepa 框架从异构数据中学习,并结合 delta-lwm 耦合潜在动作与视觉特征以指导推理时的动作生成。
论文介绍 Anvil 统一框架以解决具身空间智能中联合训练导致的监督碎片化问题。该框架包含 Anvil-Gen 异构数据飞轮、Anvil-Ben 场景对齐监督基准以及蒸馏出 9B 参数的 Anvil-MOPD 学生模型。
该论文提出 ACT3D 方法,研究视觉语言模型如何在仅接收单张图像输入的情况下,像人类一样主动探索三维空间并思考以回答问题。通过初始轨迹监督微调后,利用最终答案正确性驱动的强化学习训练,模型无需直接视点指令即可学会有效的探索策略。
MAIA 框架利用视觉 - 动作 - 力世界模型学习正常动力学,能比基线更早且更准地预测接触丰富操作中的交互异常。在包含 2,852 条轨迹的 CRIA 数据集上,其 bACC 达 0.765/0.710,平均提前预警 28.0/25.1 步。基于该预测的动作选择将端到端任务成功率从 52.6% 提升至 61.5%,且无需重训底层策略。
该论文介绍 Edit4D 框架,通过分解用户指令为特定阶段的提示词,分别合成多视角图像、重建背景 3D Gaussian Splatting 表示与角色 4D Mesh,最后利用文本引导分割和接触感知优化进行组合。该方法实现了可控相机运动、灵活的物体级编辑以及可编辑 4D 场景的构建。材料为预印本版本,包含 21 页正文与 16 张图示。
该论文介绍了 HLR-AVSceneQA 基准和 HLR-LLM 模型,旨在解决现有视听大语言模型在空间感知与关系推理上的局限。HLR-LLM 通过增加双耳空间音频分支并采用包含思维链监督的课程学习进行训练,实验表明其在提升空间场景理解的同时未损害语义感知能力。材料为 NeurIPS 2026 预印本,提供了基准定义、模型架构及实验结果对比。
该论文提出了 GRASE 框架,旨在将捕获的真实环境视频转换为可编辑的 3D 场景并保留几何布局。不同于传统单步松耦合范式,GRASE 以多视图观测为持续参考,通过拟合建筑外壳、放置生成资产及迭代细化几何与位置来修正渲染证据与捕获不符的假设,从而解决误差传播问题。实验表明该方法在保持跨视图一致性的同时,优于包括 GPT6-Astra 在内的现有最先进方法。