LLM Agent 是否仍需被告知如何自我改进?
研究提出自主范式,让冻结的 LLM Agent 在计算预算与工具支持下自行构建上下文优化算法。实验显示模型能自发对齐经典认知框架并提升游戏表现及三维导航能力。相关代码与数据暂未开放,论文为 arXiv 预印本状态。
研究提出自主范式,让冻结的 LLM Agent 在计算预算与工具支持下自行构建上下文优化算法。实验显示模型能自发对齐经典认知框架并提升游戏表现及三维导航能力。相关代码与数据暂未开放,论文为 arXiv 预印本状态。
针对现有闭环模拟器多帧块生成导致交互粗糙的问题,本文提出 FAR-Drive 框架,利用多视角扩散 Transformer 与细粒度结构化控制生成几何一致的跨摄像头视频。
针对语言引导的交通仿真中存在的意图泄露问题,本文提出了 CaFe 模型。作者构建了包含 531,099 个场景的 WOMD-PACT 数据集,并开发了一种配对干预测试方法来量化泄露程度。CaFe 采用双流扩散强制机制,在闭环微调下将智能体间的交互限制为公共信念,成功消除了可测量的意图泄露,同时保持了与 WOSAC 相当的现实度(0.763)。
推荐理由:该研究提出 CaFe 仿真器,通过限制交互于公共信念消除了指令泄露问题,同时保持了高现实度。
JEPA 风格的潜在世界模型虽能支持具身智能体进行基于模型预测控制的新目标规划,但采样式 MPC 重复推断导致单次规划耗时数十秒。本文提出利用规划器自身决策特性,通过参考森林采样在候选动作序列间制造位级差分稀疏性,并设计专用加速器实现算法与硬件的紧密协同。
推荐理由:该文提出规划器与硬件协同设计,通过制造差分位级稀疏性提升 JEPA 世界模型的推理速度并降低能耗。
该论文提出可执行感知记忆(EPM)框架,旨在解决物理智能体在失去视觉或接触后利用过往信息的问题。该方法将显式感知状态与神经潜在动力学结合,用于奖励预测、价值估计和策略学习。
推荐理由:提出可执行感知记忆框架,在记忆迷宫任务中相比仅用共享前端的方法提升 7.00 回报,验证了持久感知对世界模型的贡献。
该研究揭示在保持样本与可行域不变的情况下,无损场景重分组使等分配支持子集证书的认证可用性从 480 次尝试中的 318 次提升至 471 次。结合无退化 Wait-and-Judge 理论,该方法在不减少见证基数或改变数值提案的前提下实现了更强的直接认证。实验表明,表观上的样本效率增益源于证书核算而非额外信息或决策风险降低。
Joyjeet Singh 审计了 Robotic World Model (RWM) 及其后续版本 RWM-U 在 ANYmal D 四足机器人上的表现,发现仅用一步预测误差评估模型质量会误导设计决策。
针对基于图像观测和目标的条件化规划任务,本文提出了 Spiking Latent World Model(SpikWM),这是一种端到端的联合嵌入预测架构。该方法通过脉冲区域编码保留空间线索,结合双极性动作编码与因果膜电位预测机制,在奖励自由的图像 - 动作轨迹上进行联合训练。
论文提出了 Code World Model 2.0(arXiv:2611.22925),核心是 Invoker-Render 架构,通过双向创作模型与因果四步流式模型的配对,在共享结构代理、外观参考和语言条件下实现可控视频生成。
本文提出了 Arboreus,这是一个用于北方针叶林环境的逼真森林仿真器,旨在支持机器人自主算法的统计验证。该方法利用北欧生长研究参数化生成桦树、云杉和松树等主导树种,并结合 Copernicus 卫星数据集指导树木分布密度与种类,同时利用瑞典地籍局的地形数据生成真实感地面。
该论文针对现有世界模型主要关注动作预测而缺乏可靠指令遵循、任务进度追踪及安全避障的局限,提出一种融合三种互补机制的世界 - 动作学习框架。具体包括:具备针对性后训练的语言条件化动作接口以响应指令运动;循环指令消耗预测以跟踪任务进度并确定终止时机;以及高斯场景后训练通过轨迹模仿和可微几何反馈增强障碍规避能力。
针对现有视频世界模型在视角变化时冻结场景或丢失物体的问题,本文提出 PanoEvo 架构,利用全景扩散模型的潜在空间进行全局状态演化,并通过透视渲染器生成高质量视图。
推荐理由:提出 PanoEvo 架构解决全景视频世界模型的视角演化问题,在 WRBench 和 STEVO-Bench 上取得最佳分数。
针对现有世界模型在行为真实性与视觉保真度上的不足,本文提出一种闭环交互式世界模型,耦合行为建模与视觉渲染。该方法利用多智能体强化学习微调模仿学习的背景车辆策略以匹配真实交互,通过高斯诊断优化未观测区域的视觉表现,并依据驾驶意图渲染信号灯状态。实验显示,在长尾闭环场景下,方法将行为发散度降低 85%,新视角车辆 PSNR 提升 2.0dB,且信号灯对自动驾驶行为的间接影响显著。
推荐理由:提出闭环交互式世界模型,通过多智能体强化学习与高斯诊断提升行为真实度与视觉保真度。
动作条件化的世界模型虽能生成逼真的视频,却可能做出糟糕的规划决策。本文提出 CURE(Certify, Upweight, Rollout, Explore)技术,通过证书评估模型是否可信赖并决定后续操作:重新加权训练数据以去偏、测试时滚动更多样本或在支持缺失处探索新数据。
推荐理由:提出 CURE 证书引导技术,通过评估决策质量而非视频感知质量来诊断并改进用于规划的世界模型。
针对视觉世界模型在实体姿态和空间关系上的递归误差限制长视界规划问题,本文提出 Joint Graph--Visual Dynamics Correction (JointGV) 插件。
推荐理由:提出 JointGV 插件,在不重构视觉模型前提下利用图动力学修正长视界预测漂移,在 DMC 与真实倒立摆实验中显著降低误差。
MentalGrid 基准评估显示现有多模态大语言模型在无需视觉反馈的动态空间模拟任务中存在感知局限与推理不足。为此提出的三阶段课程学习框架利用 16k 专用样本训练出 SpatialWalker,其平均性能较基线提升 33.8%,超越 Gemini-3-Flash 等专有模型。该模型在跨域基准上保持 4.9% 的平均增益,证实空间模拟是构建广泛空间智能的关键基石。
SkiNet-Sim 提出一种融合数据感知转换与令牌的解释 Petri Net 形式化模型,旨在解决传统形式在工业应用中因语义简单或过度专业化而难以落地的难题。该研究通过机器人执行层建模及完整工业巡检任务案例,对比了经典形式与新形式在仿真及模型检测中的结果,并提供了轻量级工具以支持通用应用的数据感知状态空间探索。
论文介绍 InertialWorld 模型,该模型在自回归生成中利用惯性状态演化机制,避免每步重复重建导致的误差累积。核心组件 Inertial Memory 包含欧拉网格与拉格朗日载体,结合动作条件运动预测下一帧并融合新旧内容。实验涵盖机器人操作、3D 游戏仿真和开放世界导航,性能对标现有基线。代码链接见 arXiv 页面。
推荐理由:提出将惯性作为先验的 InertialWorld,通过欧拉网格与拉格朗日载体结合,解决视频预测中的误差累积问题。
该文是一篇关于“面向物理世界的智能体智力”的综述论文,探讨了语言模型如何为机器人编写程序(如策略生成、奖励函数设计),以及如何利用物理仿真、形式化检查等手段进行低成本且可靠的验证。文章分析了从软件测试到物理测试的范式转移,讨论了经验留存机制及当前面临的基准评测挑战,指出未来进展依赖于建立类似持续集成的物理验证流程。
推荐理由:本文提出将物理世界视为测试套件,探讨智能体在机器人编程中的写作、测试与学习机制。
光轮智能发布RoboFinals RL Envs强化学习仿真环境,依托自研SimFoundry底座实现刚体、柔体与关节体的协同交互,支持时长超8分钟的长程任务如汽车修理。产品包含资产重建、物理建模与任务定义的生成链路,提供RL Ready标准以承载策略试错与迭代,并配套独立评测基准。
前 AWS 首席科学家李沐正式出任硅谷公司 Aimotion 联合创始人兼 CTO,将联合 Boson AI 打造面向汽车等高价值行业的产业级世界模型。该技术旨在对商业规则与客户决策逻辑建模,推动 AI Agent 从被动问答升级为可自主执行复杂销售业务的智能主体。Aimotion 已完成数千万美元 A 轮融资,业务覆盖美洲、欧洲及亚太市场。
arXiv 论文介绍了一种名为 ODEWorld 的新方法,利用物理时间流(PT-Flow)构建基于常微分方程的连续潜在世界模型。该方法在压缩的潜在空间内将未来预测重构为 ODE 求解器的时间积分,有效解决了表示坍塌问题,支持任意时序分辨率、回溯预测及丰富的规划导向信息。实验表明其在视频生成和机器人控制任务中表现优异。
推荐理由:该工作提出基于 ODE 的连续时间世界模型,解决了离散模型的表示坍塌问题并支持任意时序分辨率与回溯预测。
该论文指出潜在世界模型虽能实现短期准确预测,但其隐空间常与长期规划不匹配,核心在于时空错位。作者提出 RC-aux 这一轻量级修正方法,在保持骨干网络不变的前提下,沿时间轴进行多步开环预测训练,沿空间轴引入预算条件的可达性监督及时间硬负样本,使隐空间能区分最终可达状态与当前规划视界内可达状态。
该论文研究了模拟空气曲棍球防守任务,发现即使在没有追踪冰球的临时情况下,控制仍需依赖记忆。研究将 DreamerV3 教师模型蒸馏为具有 64 维状态的紧凑循环策略,结合对角线线性循环与可选的秩 k 非线性创新,而观测编码器和动作头保持非线性。
论文介绍 Orbis 2,这是一种针对驾驶场景的层级世界模型,将未来预测分解为两个不同时空尺度的操作:高层预测器负责长时粗粒度场景结构预报,低层生成器基于高层输出产生详细预测。
该论文研究了基于潜变量动态重建的世界模型在四旋翼飞行器导航中的应用,特别是在训练环境分布发生偏移时的表现。研究对比了四种不同的深度感知训练环境设置,并评估了强化学习微调前后的重建质量及策略性能。
本文提出了一种面向机器人的伽利略对称性阐述方法,利用刚体变换和位姿表示来构建建模框架。该方法将经典的齐次矩阵代数直接映射到伽利略模型中,为处理涉及惯性测量和时空变量的机器人问题提供了有力工具。作者通过开发地球固定旋转参考系下的车辆运动研究模型以及融合具有不确定时间戳的测量值的算法,展示了该方法的潜力。
该研究提出一种将离线数据学习的世界模型用于安全规划的新方法,核心是将规划问题转化为逐次凸优化(SCP)框架,并在每一步施加离散时间控制屏障函数作为约束。为适应 SCP 对平滑动力学的需求,网络采用平滑 MaxMin 激活和谱归一化层,并基于 Lipschitz 界界定线性化误差。
AttentionUNet-CA 利用高程、距主干道距离等四个驱动因子预测土地覆盖状态,在印度勒克瑙 2010-2020 年测试集上,其图优值(21.0%)略高于加权 U-Net CA(22.0%)和随机森林 CA(20.3%),但均不及空模型的整体一致性。研究指出注意力门未提升精度,人口密度与距 CBD 距离为最有用驱动因子,预测至 2030 年建成区将增长 22-35%。
针对联合嵌入预测架构(JEPAs)中编码器表征坍塌的问题,论文提出 SADL(Supply And Demand Loss)。该方法通过约束编码器以匹配正则化器对差异的需求与编码器的供给能力,无需辅助网络或额外参数。在 LeWorldModel 和 INTACT 实验中,SADL 将随机种子下的坍塌率从 50% 降至 0%,有效秩提升显著,且在多个数据集上提升了分类准确率与控制稳定性。
推荐理由:提出 SADL 方法解决 JEPAs 表征坍塌问题,在 LeWM 和 INTACT 实验中显著降低坍塌率并提升控制成功率。
针对直接物体交互需要精细控制的挑战,本文介绍了 LynnReal-Hand 这一手控视频世界模型,统一了精确的交互建模与高效的流式生成。团队整理了涵盖真实与合成环境的 10 万条交互片段,开发了手部感知监督以改善细粒度动作;利用因果流图实现少步生成,并结合区域感知分数蒸馏融合视频与图像先验来优化交互动力学和视觉外观。
推荐理由:该工作提出手控视频世界模型,通过因果流图与区域感知蒸馏提升交互精度,并开源数据集、权重及代码以支持相关研究。
SciWorldBench 基准通过成对科学实验评估十款图文转视频(TI2V)模型,发现其生成的配对视频常呈现相同结果而非依据条件变化产生不同结局。该预印本论文指出当前视频世界模型难以可靠应用底层科学原理,并将公开数据集与开源评测代码。
JEPTERA 架构集成联合嵌入预测架构(JEPA)与模型预测控制,在三个 Gym 场景的 180 次运行中完成 28/30 任务。该平台无需修改核心逻辑即可适配 Gazebo、ROS 2、MuJoCo 和 CARLA 等仿真器,并在三张城市地图测试中实现无碰撞单路线飞行。
论文提出了 VISTA(Vision-Informed Semantic Traffic Awareness)框架,旨在解决物联网智能交通系统中传输原始视频带宽大及车载设备资源受限的问题。
论文提出 SAFER 框架,旨在解决基于世界模型的自动驾驶规划中因训练数据覆盖不足导致的探索 - 利用困境。该方法离线阶段利用专家标注的失败日志对部分预训练的代理进行训练,并在仿真环境中引入可恢复的扰动以生成失败样本;在线阶段则通过闭环驾驶持续修正模型超出离线数据覆盖的区域。
推荐理由:提出 SAFER 框架,利用专家标注的失败日志进行离线预训练以覆盖探索盲区,结合在线闭环修正,在 CARLA 和 MetaDrive 基准上实现最高路线完成率与奖励。
该研究通过 FlipTest 对 1,680 帧初始画面中的 25 个任务进行评测,发现所有 11 款视频世界模型均无法准确捕捉微小物理变化(如物体位置毫米级偏移)对未来结果的影响。最佳模型准确率仅 18.3%,低于随机猜测水平,且缺乏对因果状态的识别能力;相比之下,视觉语言模型和代码智能体表现更佳。作者建议社区重新思考世界建模不应仅是像素预测,而需识别控制未来动态的因果状态。
推荐理由:FlipTest 评测显示现有视频世界模型无法捕捉微小状态变化,建议从纯像素预测转向识别因果状态。
arXiv 预印本论文 ResWAM 提出视觉残差学习策略,在冻结 DINOv3 空间下仅监督当前帧到未来帧的特征变化,避免背景冗余。
该论文提出了 GameWM 系统,旨在构建基于交互中心世界模型的下一代视频游戏。系统采用明确的分工策略:GameWM-engine 负责维护精确的规则、状态、相机和世界布局;GameWM-VM 则生成世界外观和玩家互动的细节。
WA-JEPA 是一种耦合了动作生成、动作条件潜空间预测和目标感知反馈的世界 - 动作模型。该方法首先生成动作提议并预测未来的场景与本体状态,随后利用任务目标作为参考,通过目标差异残差反馈和未来场景上下文反馈两条互补路径对提议进行迭代细化。
针对现有违反预期基准仅聚合时空误差导致无法定位物理理解缺陷的问题,本文引入局部违反预期评估框架,对比了全局、时间局部化及空时局部化的 V-JEPA 模型表现。研究发现在发育性自我中心视频预训练过程中,全局与局部判断的吻合度呈非单调变化,且局部判断置信度随准确率提升而增加,证实全局误差不能直接作为物理违规的时空证据。