LLM Agent 是否仍需被告知如何自我改进?
研究提出自主范式,让冻结的 LLM Agent 在计算预算与工具支持下自行构建上下文优化算法。实验显示模型能自发对齐经典认知框架并提升游戏表现及三维导航能力。相关代码与数据暂未开放,论文为 arXiv 预印本状态。
研究提出自主范式,让冻结的 LLM Agent 在计算预算与工具支持下自行构建上下文优化算法。实验显示模型能自发对齐经典认知框架并提升游戏表现及三维导航能力。相关代码与数据暂未开放,论文为 arXiv 预印本状态。
针对现有闭环模拟器多帧块生成导致交互粗糙的问题,本文提出 FAR-Drive 框架,利用多视角扩散 Transformer 与细粒度结构化控制生成几何一致的跨摄像头视频。
该论文提出可执行感知记忆(EPM)框架,旨在解决物理智能体在失去视觉或接触后利用过往信息的问题。该方法将显式感知状态与神经潜在动力学结合,用于奖励预测、价值估计和策略学习。
推荐理由:提出可执行感知记忆框架,在记忆迷宫任务中相比仅用共享前端的方法提升 7.00 回报,验证了持久感知对世界模型的贡献。
Joyjeet Singh 审计了 Robotic World Model (RWM) 及其后续版本 RWM-U 在 ANYmal D 四足机器人上的表现,发现仅用一步预测误差评估模型质量会误导设计决策。
针对基于图像观测和目标的条件化规划任务,本文提出了 Spiking Latent World Model(SpikWM),这是一种端到端的联合嵌入预测架构。该方法通过脉冲区域编码保留空间线索,结合双极性动作编码与因果膜电位预测机制,在奖励自由的图像 - 动作轨迹上进行联合训练。
论文提出了 Code World Model 2.0(arXiv:2611.22925),核心是 Invoker-Render 架构,通过双向创作模型与因果四步流式模型的配对,在共享结构代理、外观参考和语言条件下实现可控视频生成。
该论文针对现有世界模型主要关注动作预测而缺乏可靠指令遵循、任务进度追踪及安全避障的局限,提出一种融合三种互补机制的世界 - 动作学习框架。具体包括:具备针对性后训练的语言条件化动作接口以响应指令运动;循环指令消耗预测以跟踪任务进度并确定终止时机;以及高斯场景后训练通过轨迹模仿和可微几何反馈增强障碍规避能力。
针对现有视频世界模型在视角变化时冻结场景或丢失物体的问题,本文提出 PanoEvo 架构,利用全景扩散模型的潜在空间进行全局状态演化,并通过透视渲染器生成高质量视图。
推荐理由:提出 PanoEvo 架构解决全景视频世界模型的视角演化问题,在 WRBench 和 STEVO-Bench 上取得最佳分数。
针对现有世界模型在行为真实性与视觉保真度上的不足,本文提出一种闭环交互式世界模型,耦合行为建模与视觉渲染。该方法利用多智能体强化学习微调模仿学习的背景车辆策略以匹配真实交互,通过高斯诊断优化未观测区域的视觉表现,并依据驾驶意图渲染信号灯状态。实验显示,在长尾闭环场景下,方法将行为发散度降低 85%,新视角车辆 PSNR 提升 2.0dB,且信号灯对自动驾驶行为的间接影响显著。
推荐理由:提出闭环交互式世界模型,通过多智能体强化学习与高斯诊断提升行为真实度与视觉保真度。
动作条件化的世界模型虽能生成逼真的视频,却可能做出糟糕的规划决策。本文提出 CURE(Certify, Upweight, Rollout, Explore)技术,通过证书评估模型是否可信赖并决定后续操作:重新加权训练数据以去偏、测试时滚动更多样本或在支持缺失处探索新数据。
推荐理由:提出 CURE 证书引导技术,通过评估决策质量而非视频感知质量来诊断并改进用于规划的世界模型。
针对视觉世界模型在实体姿态和空间关系上的递归误差限制长视界规划问题,本文提出 Joint Graph--Visual Dynamics Correction (JointGV) 插件。
推荐理由:提出 JointGV 插件,在不重构视觉模型前提下利用图动力学修正长视界预测漂移,在 DMC 与真实倒立摆实验中显著降低误差。
MentalGrid 基准评估显示现有多模态大语言模型在无需视觉反馈的动态空间模拟任务中存在感知局限与推理不足。为此提出的三阶段课程学习框架利用 16k 专用样本训练出 SpatialWalker,其平均性能较基线提升 33.8%,超越 Gemini-3-Flash 等专有模型。该模型在跨域基准上保持 4.9% 的平均增益,证实空间模拟是构建广泛空间智能的关键基石。
SkiNet-Sim 提出一种融合数据感知转换与令牌的解释 Petri Net 形式化模型,旨在解决传统形式在工业应用中因语义简单或过度专业化而难以落地的难题。该研究通过机器人执行层建模及完整工业巡检任务案例,对比了经典形式与新形式在仿真及模型检测中的结果,并提供了轻量级工具以支持通用应用的数据感知状态空间探索。
论文介绍 InertialWorld 模型,该模型在自回归生成中利用惯性状态演化机制,避免每步重复重建导致的误差累积。核心组件 Inertial Memory 包含欧拉网格与拉格朗日载体,结合动作条件运动预测下一帧并融合新旧内容。实验涵盖机器人操作、3D 游戏仿真和开放世界导航,性能对标现有基线。代码链接见 arXiv 页面。
推荐理由:提出将惯性作为先验的 InertialWorld,通过欧拉网格与拉格朗日载体结合,解决视频预测中的误差累积问题。
该文是一篇关于“面向物理世界的智能体智力”的综述论文,探讨了语言模型如何为机器人编写程序(如策略生成、奖励函数设计),以及如何利用物理仿真、形式化检查等手段进行低成本且可靠的验证。文章分析了从软件测试到物理测试的范式转移,讨论了经验留存机制及当前面临的基准评测挑战,指出未来进展依赖于建立类似持续集成的物理验证流程。
推荐理由:本文提出将物理世界视为测试套件,探讨智能体在机器人编程中的写作、测试与学习机制。
本文介绍 ARC-2 框架,旨在解决自主系统在部署后如何维持合规的问题。该框架将合规性评估从静态认证转变为通过连续监控进行,并提出了四项扩展:在 CRAB 评估中纳入最坏的行为偏差验证;建立分层触发分类法以区分不同风险等级的违规;实施分阶段的平稳过渡协议,将运营授权撤回与物理关闭分离;引入环境偏差作为基线有效性条件,防止因环境漂移超出认证 ODD 而自动收缩权限。
推荐理由:该框架提出通过偏差管理实现自主系统部署后的持续合规,扩展了 ARC-1 架构以应对欧盟 AI 法案要求。
arXiv 论文介绍了一种名为 ODEWorld 的新方法,利用物理时间流(PT-Flow)构建基于常微分方程的连续潜在世界模型。该方法在压缩的潜在空间内将未来预测重构为 ODE 求解器的时间积分,有效解决了表示坍塌问题,支持任意时序分辨率、回溯预测及丰富的规划导向信息。实验表明其在视频生成和机器人控制任务中表现优异。
推荐理由:该工作提出基于 ODE 的连续时间世界模型,解决了离散模型的表示坍塌问题并支持任意时序分辨率与回溯预测。
该论文指出潜在世界模型虽能实现短期准确预测,但其隐空间常与长期规划不匹配,核心在于时空错位。作者提出 RC-aux 这一轻量级修正方法,在保持骨干网络不变的前提下,沿时间轴进行多步开环预测训练,沿空间轴引入预算条件的可达性监督及时间硬负样本,使隐空间能区分最终可达状态与当前规划视界内可达状态。
该论文提出 3D-MoE,一种利用混合专家架构和模态感知概率路由的高效 3D 视觉语言模型。研究集成基于扩散的动作头 Pose-DiT,将模型转化为能生成精确 6D 姿态的 3D 视觉语言动作(VLA)模型,支持机器人操作任务。实验表明该模型在多个基准上表现优异,激活参数大幅减少且推理实时,已接受 EMNLP 2026。代码开源。
论文介绍 Orbis 2,这是一种针对驾驶场景的层级世界模型,将未来预测分解为两个不同时空尺度的操作:高层预测器负责长时粗粒度场景结构预报,低层生成器基于高层输出产生详细预测。
该论文研究了基于潜变量动态重建的世界模型在四旋翼飞行器导航中的应用,特别是在训练环境分布发生偏移时的表现。研究对比了四种不同的深度感知训练环境设置,并评估了强化学习微调前后的重建质量及策略性能。
本文提出了一种面向机器人的伽利略对称性阐述方法,利用刚体变换和位姿表示来构建建模框架。该方法将经典的齐次矩阵代数直接映射到伽利略模型中,为处理涉及惯性测量和时空变量的机器人问题提供了有力工具。作者通过开发地球固定旋转参考系下的车辆运动研究模型以及融合具有不确定时间戳的测量值的算法,展示了该方法的潜力。
该研究提出一种将离线数据学习的世界模型用于安全规划的新方法,核心是将规划问题转化为逐次凸优化(SCP)框架,并在每一步施加离散时间控制屏障函数作为约束。为适应 SCP 对平滑动力学的需求,网络采用平滑 MaxMin 激活和谱归一化层,并基于 Lipschitz 界界定线性化误差。
AttentionUNet-CA 利用高程、距主干道距离等四个驱动因子预测土地覆盖状态,在印度勒克瑙 2010-2020 年测试集上,其图优值(21.0%)略高于加权 U-Net CA(22.0%)和随机森林 CA(20.3%),但均不及空模型的整体一致性。研究指出注意力门未提升精度,人口密度与距 CBD 距离为最有用驱动因子,预测至 2030 年建成区将增长 22-35%。
针对联合嵌入预测架构(JEPAs)中编码器表征坍塌的问题,论文提出 SADL(Supply And Demand Loss)。该方法通过约束编码器以匹配正则化器对差异的需求与编码器的供给能力,无需辅助网络或额外参数。在 LeWorldModel 和 INTACT 实验中,SADL 将随机种子下的坍塌率从 50% 降至 0%,有效秩提升显著,且在多个数据集上提升了分类准确率与控制稳定性。
推荐理由:提出 SADL 方法解决 JEPAs 表征坍塌问题,在 LeWM 和 INTACT 实验中显著降低坍塌率并提升控制成功率。
JEPTERA 架构集成联合嵌入预测架构(JEPA)与模型预测控制,在三个 Gym 场景的 180 次运行中完成 28/30 任务。该平台无需修改核心逻辑即可适配 Gazebo、ROS 2、MuJoCo 和 CARLA 等仿真器,并在三张城市地图测试中实现无碰撞单路线飞行。
论文提出了 VISTA(Vision-Informed Semantic Traffic Awareness)框架,旨在解决物联网智能交通系统中传输原始视频带宽大及车载设备资源受限的问题。
论文提出 SAFER 框架,旨在解决基于世界模型的自动驾驶规划中因训练数据覆盖不足导致的探索 - 利用困境。该方法离线阶段利用专家标注的失败日志对部分预训练的代理进行训练,并在仿真环境中引入可恢复的扰动以生成失败样本;在线阶段则通过闭环驾驶持续修正模型超出离线数据覆盖的区域。
推荐理由:提出 SAFER 框架,利用专家标注的失败日志进行离线预训练以覆盖探索盲区,结合在线闭环修正,在 CARLA 和 MetaDrive 基准上实现最高路线完成率与奖励。
该研究通过 FlipTest 对 1,680 帧初始画面中的 25 个任务进行评测,发现所有 11 款视频世界模型均无法准确捕捉微小物理变化(如物体位置毫米级偏移)对未来结果的影响。最佳模型准确率仅 18.3%,低于随机猜测水平,且缺乏对因果状态的识别能力;相比之下,视觉语言模型和代码智能体表现更佳。作者建议社区重新思考世界建模不应仅是像素预测,而需识别控制未来动态的因果状态。
推荐理由:FlipTest 评测显示现有视频世界模型无法捕捉微小状态变化,建议从纯像素预测转向识别因果状态。
DynLimit 是一个端到端的仿真平台,用于区分机动请求、闭环执行与任务完成状态。该平台通过共享观测接口连接规划器与控制器,支持无许可的四轮模型或外部动力学求解器,并同步记录以支持评估与回放。
该论文提出了 GameWM 系统,旨在构建基于交互中心世界模型的下一代视频游戏。系统采用明确的分工策略:GameWM-engine 负责维护精确的规则、状态、相机和世界布局;GameWM-VM 则生成世界外观和玩家互动的细节。
WA-JEPA 是一种耦合了动作生成、动作条件潜空间预测和目标感知反馈的世界 - 动作模型。该方法首先生成动作提议并预测未来的场景与本体状态,随后利用任务目标作为参考,通过目标差异残差反馈和未来场景上下文反馈两条互补路径对提议进行迭代细化。
针对现有违反预期基准仅聚合时空误差导致无法定位物理理解缺陷的问题,本文引入局部违反预期评估框架,对比了全局、时间局部化及空时局部化的 V-JEPA 模型表现。研究发现在发育性自我中心视频预训练过程中,全局与局部判断的吻合度呈非单调变化,且局部判断置信度随准确率提升而增加,证实全局误差不能直接作为物理违规的时空证据。
论文研究了当单步原语解码器作为系统一世界模型时的关键因素。在 ManiSkill3 PushT-v1 和 lerobot/pusht 数据集上,将输入输出表达为物体初始姿态的 SE(2) 坐标系比世界坐标系降低决策后悔值 1.9-2.2 倍;单步解码延迟为 1.6-1.8 毫秒,优于迭代扩散模型。
推荐理由:该研究对比了单步解码与迭代解码在系统一世界模型中的表现,证实物体坐标系能显著降低决策后悔值且单步解码延迟更低。
禾赛科技旗下三维世界数据引擎Kosmo与物理AI基础设施公司Ropedia达成战略合作,共同推进高质量真实世界数据的规模化生产。双方联合支持的Ropedia Xperience 2研究项目正式发布,包含1589个三维扫描场景、74项任务及4230条第一视角记录,总时长131小时。
该综述系统梳理了大语言模型和视觉语言模型在感知、规划及人机交互领域的进展,将应用划分为仿真驱动、开放世界操作等四个方向。文章重点分析了程序化场景生成与策略泛化等关键趋势,同时指出了具身数据匮乏、安全风险及算力限制等核心瓶颈。最后提出了通过构建更鲁棒的可解释模型来弥合语义推理与物理智能差距的未来研究路线图。
针对自驱动实验室(SDL)自动化流程故障,该研究开发了基于 UR3e 机械臂与 3Dconnexion SpaceMouse Pro 的遥操作接口。对比测试表明解耦控制器模式缩短了任务完成时间并减少旋转运动,且无参考路径引导时用户更具目标导向性。工作验证了人机回环机制在 SDL 故障恢复中的可行性,为未来共享自主性研究奠定基础。
TelePhysica 是一个闭环框架,旨在从单张照片重建可执行的多体制物理世界,以驱动状态化的三维交互和轨迹感知的视频合成。该方法利用视觉语言编码智能体生成分离的视觉网格和声明性物理模型,并通过像素对齐轮廓批评与零力重力平衡预飞检查进行两阶段验证。
推荐理由:该工作提出闭环框架,从单张照片重建可执行的物理世界以驱动状态化交互与视频合成。
论文提出了 DySENSE 框架,这是一种联合多模态生成式 AI 架构,旨在通过合成静态城市卫星影像与空间对齐的动态月度建筑能耗图来解决现有研究的数据与方法局限。
针对大规模视频数据缺乏动作标注且现有评估无法区分预测捷径与真实动作信息的问题,研究提出 Latent Action Support Ratio (LASR) 这一无单位离线指标。该基准通过机器人操作记录数据验证了 LASR 能检测已知动作信息、拒绝非动作捷径并支持不完备潜变量的分级比较。此外,利用 LASR 训练和审计的轻量残差适配器获得了描述性更优的点估计值及其不确定性评估。