跳到正文

技术方向

世界模型 最新动态

世界状态建模、预测、可控生成与交互;区分视觉生成、空间导航和具备物理预测能力的系统。

574 条精选近 30 天 307 条共收录 1,758 条

更新

精选归档 · 第 8 页

11月3日周二第 141–160 条
  1. arXiv · 机器人与计算机视觉82

    大规模神经系统中在线主动学习的端到端稳定性分析

    该预印本论文针对安全关键应用中的在线主动学习(OAL)提出了稳定性理论框架。研究将预测误差作为反馈信号更新结构化深度模型,并证明仅靠输出误差收敛不足以保证全局参数收敛。通过分离输出调节、内部零动力学及层间耦合,结合持续激励与主动阻尼消除残差空模态,利用级联李雅普诺夫分析确立了整体学习过程的渐近稳定性,同时利用单调激活函数和微分同胚映射确保目标参数轨迹的唯一性。

    推荐理由:该文提出基于李雅普诺夫稳定性的在线主动学习框架,解决了大规模多层神经网络在动态环境下的参数收敛与稳定性问题。

  2. arXiv · 机器人与计算机视觉78

    VerifLM:面向机器人操作的物理验证图像编辑引导目标位姿生成

    VerifLM 是一个将图像编辑生成的目标配置转换为经物理验证的六自由度物体位姿的框架。该方法利用编辑后的图像恢复主动与被动物体间的初始相对位姿,提示视觉语言模型生成分轴采样约束和任务特定验证程序,并在物理模拟器中评估候选位姿。

    推荐理由:该框架将图像编辑目标转化为经物理验证的位姿,在无需预定义网格的情况下实现高成功率。

  3. arXiv · 机器人与计算机视觉82

    DR Pixel:基于视觉语言模型的页面原生深度研究

    该论文介绍 DR Pixel,这是首个将渲染后的文档页面图像作为唯一检索与推理单元的开源端到端多模态深度研究智能体。研究构建了 DRPixelBench 基准以评估在科学论文(含文本、图表、公式)上的表现。

    推荐理由:提出 DR Pixel,首个基于渲染页面图像而非 OCR 文本的开源多模态深度研究智能体,在科学文献处理上无需训练即可超越现有基线。

  4. arXiv · 机器人与计算机视觉78

    History Forcing:面向长视界视频世界模型的蒸馏历史依赖续写方法

    论文提出 History Forcing 统一在线策略蒸馏框架,旨在解决少步自回归视频扩散模型在长序列生成中的一致性难题。该方法利用教师模型在有/无历史信息下的预测残差来解耦监督信号,将历史信息约束融入学生模型的分数或速度预测目标中。

    推荐理由:提出 History Forcing 蒸馏框架,利用历史信息约束长序列生成,在 1.3B 参数规模下实现 VBench 质量分 85.07。

  5. arXiv · 机器人与计算机视觉83

    Right Ranking, Wrong Scale:复现 Robotic World Model 动力学模型并测试其后续版本的不确定性

    Joyjeet Singh 在 arXiv 上发布论文,复现了 Robotic World Model (RWM) 的动力学模型,并针对其后续版本 RWM-U 用于离线策略优化的不确定性估计进行了测试。

    推荐理由:作者复现了 Robotic World Model 的动力学模型并测试了其不确定性估计,发现其误差覆盖严重不足且存在缺陷。

  6. arXiv · 机器人与计算机视觉82

    W2A:将世界先验蒸馏进动作模型以实现实时机器人控制

    针对现有世界动作模型(WAMs)因需显式想象未来状态而导致计算开销大、难以满足实时控制的痛点,本文提出 W2A 框架。该方法在训练阶段将视频扩散模型的中间去噪表示蒸馏至动作模型,测试时完全丢弃视频模型,假设压缩的低维子空间足以提供有效监督。实验表明,W2A 在 LIBERO 基准上平均成功率达 95.9%,推理速度比代表性 WAM 基线快约 21 倍,兼顾了高成功率与高效率。

    推荐理由:提出将视频扩散模型的中间去噪表示蒸馏至动作模型,测试时完全丢弃视频模型,在保持高成功率的同时显著降低推理延迟。

  7. arXiv · 机器人与计算机视觉82

    Gnomon4D:基于几何运动的视频 - 动作联合建模研究

    论文提出 Gnomon4D 世界动作模型,通过 GeoDelta 几何运动场显式编码物体与机器人点的跨帧位移和深度变化,结合 InSAttn 注意力机制聚焦任务相关交互区域。

    推荐理由:该工作提出 GeoDelta 几何运动场与 InSAttn 注意力机制,在仿真基准上超越最强基线,为理解物理交互提供新范式。

  8. arXiv · 机器人与计算机视觉78

    AgiWorld:一种用于构建持久化世界的代理式视频世界模型

    arXiv 论文发布 AgiWorld,这是一种代理式视频世界模型,旨在从单张图像和自由指令出发构建并探索持久化世界。系统包含负责高层规划与路径设计的 AgiWorld-Agent 和负责逐帧生成视频的 AgiWorld-WM,两者共享空间记忆以维持状态一致性与用户意图忠实度。

    推荐理由:提出 AgiWorld,通过智能体与视频模型的闭环及空间记忆机制解决长序列探索中的持久性问题。

  9. arXiv · 机器人与计算机视觉78

    计算机图形学代理系统进展:统一分类法与文献分析工具

    该报告针对计算机图形学中代理系统研究术语分散、难以系统理解的挑战,提出两项贡献:一是建立涵盖多样化任务的代理系统统一分类法;二是开发辅助人类研究者大规模分析现有及新发表论文的代理文献系统。基于此,报告分析了新兴研究趋势,并讨论了跨任务协调代理与工具、设计人机协作界面与表示、维持长程规划与细化以及可靠评估交互式图形系统等开放挑战。材料为预印本论文,未涉及具体产品发布或真实部署结果。

    推荐理由:报告提出计算机图形学代理系统统一分类法与文献分析工具,梳理多任务趋势并探讨人机协作、长程规划及评估等挑战。

  10. arXiv · 机器人与计算机视觉85

    HuG:学习具身智能全身感知引导抓取与主动感知

    论文提出了 HuG 框架,旨在解决人形机器人在自眼视角下目标遮挡及全身协调运动难题。该框架通过“感知 - 对齐 - 抓取”流水线耦合感知与动作,利用控制器在环的动力学模拟筛选训练数据,剔除会导致部署控制器失稳的 73% 仅满足运动学有效的抓取方案,从而学习符合动力学可行性的 affordance。

    推荐理由:该工作提出 HuG 框架,通过闭环动力学筛选训练数据,使策略在零真实演示下于多层级货架任务达到 87.5% 成功率。

  11. arXiv · 机器人与计算机视觉78

    DriftingPlanner:用于端到端自动驾驶的一步轨迹漂移生成模型

    论文提出了 DriftingPlanner,这是一种基于漂移损失训练的轨迹规划器,无需坐标回归项即可通过一步推理解码自车轨迹。该方法将类条件图像生成的漂移技术迁移至规划场景,利用每场景的吸引 - 排斥场机制,在 NAVSIM navtest 基准上实现了 93.75 PDMS 的最优性能,其单步推理结果与最佳扩散或流匹配设置(需十步推理)仅差 0.13 PDMS。

    推荐理由:提出 DriftingPlanner,通过训练端一步生成器实现端到端轨迹规划,在 NAVSIM navtest 上达到 SOTA 性能。

  12. arXiv · 机器人与计算机视觉78

    为什么 Koopman 结构无法帮助可微世界模型进行类人机器人全身跟踪

    该论文测试了将 MLP 世界模型替换为具有升维状态空间线性动力学的 Koopman 结构后,对 Unitree G1 全身体跟踪策略的影响。实验发现 Koopman 结构并未带来性能提升(返回精度持平甚至略低),且训练速度变慢约 15%。研究指出,由于策略动作跨越曲率区域,仿射模型仅在策略操作点切线处准确,而 MLP 能直接读取动作信息,因此在固定状态下表现更好。

    推荐理由:实验表明在 Unitree G1 全身体跟踪任务中,Koopman 线性结构并未提升可微世界模型性能,MLP 仍是更优选择。

  13. arXiv · 机器人与计算机视觉78

    旧数据非谬:用于交互式视频世界模型的有效时间记忆

    该研究针对交互式视频世界模型在撤销动作后无法正确读取当前状态的问题,提出了一种名为 ReDate 的方法。该方法利用智能体行动日志中的有效时间戳对检索到的帧进行标记,使冻结的生成器能区分新旧视图而无需重新训练。

    推荐理由:提出基于有效时间戳的 ReDate 方法,无需训练即可解决交互式视频世界模型在撤销操作后的状态读取错误问题。

  14. arXiv · 机器人与计算机视觉78

    Roz:世界模型潜变量的味觉测试

    论文指出当前世界模型虽在图像相似度上表现优异,却忽略了质量、形变等关键物理细节。作者提出 Roz 评估框架,包含 10 个对比任务和 3 个连续任务共 1734 个场景,仅需静态帧或视频输入即可运行。该研究旨在推动基准测试的快速迭代与跨模型比较,并已在 NeurIPS 2026 相关研讨会接受。

    推荐理由:提出 Roz 评估框架,通过对比与连续任务验证世界模型是否编码物理属性,解决现有评测不透明问题。

  15. arXiv · 机器人与计算机视觉81

    WorldSketch:用于零样本移动操作的草图化世界模型

    论文提出 WorldSketch 新范式,让视觉语言模型作为智能体主动查询感知工具构建并验证最小运动学世界模型,仅捕捉任务相关对象及其交互几何与可能运动,再由几何规划器联合优化接触与全身运动。

    推荐理由:提出由 VLM 构建最小运动学世界模型的范式,在 RoboCasa 等基准实现零样本成功率达 91%,显著优于现有基线。

  16. arXiv · 机器人与计算机视觉78

    Spoofing the Latent State:不可察觉的目标图像攻击破坏 LeWorldModel 的规划能力

    该论文研究了联合嵌入预测架构(JEPAs)在 LeWorldModel 中的测试时间鲁棒性。分析发现,物体状态主导了潜在距离,但编码器无法轻易隔离或重定向这种几何结构。实验表明,仅对单帧输入施加极小的白盒扰动即可让编码器将物体姿态记录为攻击者任意选择的状态,导致 Push-T 等任务的规划成功率从 87% 骤降至 32%,且该漏洞在四个标准基准测试中均存在。

    推荐理由:该研究揭示了 LeWorldModel 在测试时对微小图像扰动的脆弱性,攻击可诱导规划器将物体状态误判为任意姿态,导致任务成功率大幅下降。

  17. arXiv · 机器人与计算机视觉78

    TAP-Out:通过外推技术实现任意点的 360°跟踪

    论文提出了 TAP-Out 方法,这是一种离线算法,利用生成式视频外推作为世界模型先验来解决目标离开相机视场后的跟踪问题。该方法将窄视场输入视频外推为完整的 360°全景视频,通过视频对象分割定位目标,并合成以物体为中心的视角裁剪供标准帧内跟踪器运行。

    推荐理由:该工作提出利用生成式外推构建世界模型先验,在 TAPVid360 基准上实现离屏目标跟踪的最优性能。

  18. arXiv · 机器人与计算机视觉78

    SPARK:基于物理重观察的自纠正具身记忆

    针对现有具身检索增强生成(RAG)系统易累积语义标签、物体位置及空间关系错误的局限,论文提出 SPARK 框架。该框架在首个任务集后利用语义批评标记知识库错误区域,通过规划器生成针对性重访,并基于新观察结果选择性合并信息以修正记忆。

    推荐理由:提出 SPARK 框架,通过语义批评与目标重访修正具身记忆错误,在 AirSim 仿真环境中显著降低存储开销并提升问答性能。

  19. arXiv · 机器人与计算机视觉82

    Anchor 1:用于全身精准稳定操控的人形机器人控制器

    Archon Robotics 发布 Anchor 1,一种面向人形机器人全身精准稳定操控的控制器及基准测试集。该方法采用校准后的稀疏运动参考以保留任务相关的人体运动结构,无需在线关节空间重定向;通过离线整理机器人运动数据塑造训练分布,并引入与运动编码解耦的显式误差反馈以提升控制精度。

    推荐理由:该工作提出 Anchor 1 控制器与基准,在仿真和硬件上均实现更优的全身操控精度与稳定性。

  20. arXiv · 机器人与计算机视觉82

    TRACE-CBM:一种可干预的概念动力学视频活动预测模型

    该论文提出了 TRACE-CBM(Temporal Relational Activity Concept Evolution)模型,旨在解决概念瓶颈模型无法预测未来概念演化的问题。

    推荐理由:提出 TRACE-CBM 模型,通过稀疏时空图预测概念演化并支持干预编辑,在视频活动预测任务上显著优于现有方法。