INTERACT:从驾驶视频学习交互感知世界动力学以用于自动驾驶
论文提出 INTERACT(Interaction-Aware Action-Conditioned Trajectory learning)框架,旨在解决端到端驾驶模型中对象级交互隐含的问题。
论文提出 INTERACT(Interaction-Aware Action-Conditioned Trajectory learning)框架,旨在解决端到端驾驶模型中对象级交互隐含的问题。
论文提出 Gnomon4D 世界动作模型,通过 GeoDelta 几何运动场显式编码物体与机器人点的跨帧位移和深度变化,结合 InSAttn 注意力机制聚焦任务相关交互区域。
推荐理由:该工作提出 GeoDelta 几何运动场与 InSAttn 注意力机制,在仿真基准上超越最强基线,为理解物理交互提供新范式。
论文 Late Autumn 探索利用 LLM 编码代理进行自主研究,将通用的多机器人规划器特化为适应特定仓库布局的方案。研究在模拟现有自动化仓库的地板上进行了六次实验,发现该方法能将吞吐量提升 22% 至 60%,且该增益在未见过的新种子数据上依然成立;代理重新发现了走廊出口优先级、局部引导等已知机制。
arXiv 论文发布 AgiWorld,这是一种代理式视频世界模型,旨在从单张图像和自由指令出发构建并探索持久化世界。系统包含负责高层规划与路径设计的 AgiWorld-Agent 和负责逐帧生成视频的 AgiWorld-WM,两者共享空间记忆以维持状态一致性与用户意图忠实度。
推荐理由:提出 AgiWorld,通过智能体与视频模型的闭环及空间记忆机制解决长序列探索中的持久性问题。
论文针对交互式交通中不可观测的人类特征及多智能体互动的互惠性,提出统一信念空间模型预测控制框架,将信息清晰度作为显式规划变量与安全性规范协同设计。该方法在车道汇入和无信号灯路口场景中,相比代表性基线方法,在 5000 次仿真中取得最高成功率(94.6% 和 93.2%)及最低碰撞率(1.2% 和 1.4%)。材料为预印本,已提交至 ICRA 2027。
论文研究了强化学习运动策略在仿真条件下遭遇分布偏移时的安全性问题。作者使用闭环世界模型推演和三个模型的集合评估了 Ant-v5 和 HalfCheetah-v5 策略的预测信号时序逻辑(STL)监控能力。
E$^2$Forecast 采用双分支 Transformer 架构,通过高斯与修正流分支在嵌入空间直接预测未来状态。该方法将 Sentinel-1/2 基准上的余弦距离从 0.20 降至 0.10,并将 z-score 标准差由 2.63 降低至 1.22。此外,模型在无标签情况下实现异常变化检测,F$_1$分数从 41.58 提升至 48.70,且代码已公开。
DARE 是一种几何感知的关系动力学框架,利用回顾性修正改进密集存储环境下的长视界预测。该模型通过对象级消息传递预测接触传播,并在稀疏观测可用时修正早期状态以重演动力学。在 Planar 和 RoboCasa 环境中实验表明,DARE 能有效平衡检索进度与周围物体的位移旋转,提升鲁棒性与泛化能力。
该报告针对计算机图形学中代理系统研究术语分散、难以系统理解的挑战,提出两项贡献:一是建立涵盖多样化任务的代理系统统一分类法;二是开发辅助人类研究者大规模分析现有及新发表论文的代理文献系统。基于此,报告分析了新兴研究趋势,并讨论了跨任务协调代理与工具、设计人机协作界面与表示、维持长程规划与细化以及可靠评估交互式图形系统等开放挑战。材料为预印本论文,未涉及具体产品发布或真实部署结果。
推荐理由:报告提出计算机图形学代理系统统一分类法与文献分析工具,梳理多任务趋势并探讨人机协作、长程规划及评估等挑战。
该论文提出了 OpenNWM 导航世界模型,旨在通过预测未来观测来支持规划,并解决因缺乏动作标注数据导致的泛化受限问题。研究引入了 NavAnywhere 数据集,包含来自 15 个异构来源的 1750 万条无动作导航视频,涵盖地面机器人、人类和无人机在五种场景类型中的运动模式。
针对视频世界模型的预测误差常被误作物理惊奇,该研究提出新评估框架以区分外观、静态内容及普通预测难度。在 IntPhys2 基准上对比发现,V-JEPA2 仅暴露有限的可能性信息,且固定误差阈值会错误标记许多可能事件为不可能。结论表明模型虽能表征物理信息并响应错误动作,但其原生预测误差无法可靠衡量物理惊奇。
GatedVLA 作为 PAI-AV 赛道参赛方案,通过视觉掩码优化策略并在部署端集成规则式自动紧急制动(AEB)模块。该模型在包含 150 个场景的局部闭环评估中,将平均场景得分从 0.479 提升至 0.599,同时将负有碰撞责任的场景数由 34.0 降至 11.0。
论文提出了 HuG 框架,旨在解决人形机器人在自眼视角下目标遮挡及全身协调运动难题。该框架通过“感知 - 对齐 - 抓取”流水线耦合感知与动作,利用控制器在环的动力学模拟筛选训练数据,剔除会导致部署控制器失稳的 73% 仅满足运动学有效的抓取方案,从而学习符合动力学可行性的 affordance。
推荐理由:该工作提出 HuG 框架,通过闭环动力学筛选训练数据,使策略在零真实演示下于多层级货架任务达到 87.5% 成功率。
论文提出 SCOUT 框架,旨在解决机器人面对前景遮挡时的规划难题。该方法利用物体中心的场景表示重建隐藏几何结构,并通过大语言模型生成结构化动作候选,再经蒙特卡洛树搜索(MCTS)结合学习到的动作条件世界模型进行严格评估。
论文提出 GSExplorer,这是一个围绕持久化 3D Gaussian 世界状态构建的生成 - 重建框架。该方法利用当前 3DGS 场景为条件驱动的视频生成器提供多模态渲染条件,并通过独立的相对射线编码分支注入相机几何信息;生成的视频反馈给基于 SLAM 的重建后端,通过不一致性过滤防止冲突内容破坏场景,并利用跨块束调整优化空间对齐。
论文提出了 DriftingPlanner,这是一种基于漂移损失训练的轨迹规划器,无需坐标回归项即可通过一步推理解码自车轨迹。该方法将类条件图像生成的漂移技术迁移至规划场景,利用每场景的吸引 - 排斥场机制,在 NAVSIM navtest 基准上实现了 93.75 PDMS 的最优性能,其单步推理结果与最佳扩散或流匹配设置(需十步推理)仅差 0.13 PDMS。
推荐理由:提出 DriftingPlanner,通过训练端一步生成器实现端到端轨迹规划,在 NAVSIM navtest 上达到 SOTA 性能。
该论文研究灵活路线公交(FRT)系统的实时运营控制安全问题,提出 Hi-CoLA 框架以解决强化学习策略缺乏统计性能保证的问题。该方法结合重要性采样、集中不等式与可微代理网络,高效估计高置信度性能下界并通过策略梯度优化。在芝加哥某实际路线的 SUMO 仿真案例中,Hi-CoLA 在平均和尾部风险性能上均优于最先进的离线及安全强化学习方法。材料为预印本,尚未通过同行评审。
论文介绍了 pico-WAM 这一提供物理状态的紧凑世界动作模型,用于追踪策略与动力学交互。研究基于 206 个 Push-T 演示和 15 次训练种子,对比了不同数据 regimes 与搜索配置。
该论文测试了将 MLP 世界模型替换为具有升维状态空间线性动力学的 Koopman 结构后,对 Unitree G1 全身体跟踪策略的影响。实验发现 Koopman 结构并未带来性能提升(返回精度持平甚至略低),且训练速度变慢约 15%。研究指出,由于策略动作跨越曲率区域,仿射模型仅在策略操作点切线处准确,而 MLP 能直接读取动作信息,因此在固定状态下表现更好。
推荐理由:实验表明在 Unitree G1 全身体跟踪任务中,Koopman 线性结构并未提升可微世界模型性能,MLP 仍是更优选择。
针对向量化重置条件下终止时序差异导致初始状态不一致的问题,研究提出包含 I1-I5 不变量、溯源日志及自动检查器的评估完整性框架。受控实验显示同步控制下无 ID 错配,但异步冻结批次映射存在不匹配且机制未完全隔离。建议在进行配对统计前核查声明与解析的初始化状态身份及溯源信息。
该研究针对交互式视频世界模型在撤销动作后无法正确读取当前状态的问题,提出了一种名为 ReDate 的方法。该方法利用智能体行动日志中的有效时间戳对检索到的帧进行标记,使冻结的生成器能区分新旧视图而无需重新训练。
推荐理由:提出基于有效时间戳的 ReDate 方法,无需训练即可解决交互式视频世界模型在撤销操作后的状态读取错误问题。
论文指出当前世界模型虽在图像相似度上表现优异,却忽略了质量、形变等关键物理细节。作者提出 Roz 评估框架,包含 10 个对比任务和 3 个连续任务共 1734 个场景,仅需静态帧或视频输入即可运行。该研究旨在推动基准测试的快速迭代与跨模型比较,并已在 NeurIPS 2026 相关研讨会接受。
推荐理由:提出 Roz 评估框架,通过对比与连续任务验证世界模型是否编码物理属性,解决现有评测不透明问题。
论文提出 WorldSketch 新范式,让视觉语言模型作为智能体主动查询感知工具构建并验证最小运动学世界模型,仅捕捉任务相关对象及其交互几何与可能运动,再由几何规划器联合优化接触与全身运动。
推荐理由:提出由 VLM 构建最小运动学世界模型的范式,在 RoboCasa 等基准实现零样本成功率达 91%,显著优于现有基线。
TacMind 构建包含 128 个任务的仿真基准,涵盖 Precise、Recognition 及 Dynamic 三种评估 regime 并引入视觉物理扰动。该工作提出动作条件潜变量预测世界模型,通过整合触觉历史与未来预测来学习交互状态以优化候选动作。实验表明,在各类评估 regime 下融入触觉信息均能带来一致的性能提升。
该论文研究了联合嵌入预测架构(JEPAs)在 LeWorldModel 中的测试时间鲁棒性。分析发现,物体状态主导了潜在距离,但编码器无法轻易隔离或重定向这种几何结构。实验表明,仅对单帧输入施加极小的白盒扰动即可让编码器将物体姿态记录为攻击者任意选择的状态,导致 Push-T 等任务的规划成功率从 87% 骤降至 32%,且该漏洞在四个标准基准测试中均存在。
推荐理由:该研究揭示了 LeWorldModel 在测试时对微小图像扰动的脆弱性,攻击可诱导规划器将物体状态误判为任意姿态,导致任务成功率大幅下降。
论文提出了 TAP-Out 方法,这是一种离线算法,利用生成式视频外推作为世界模型先验来解决目标离开相机视场后的跟踪问题。该方法将窄视场输入视频外推为完整的 360°全景视频,通过视频对象分割定位目标,并合成以物体为中心的视角裁剪供标准帧内跟踪器运行。
推荐理由:该工作提出利用生成式外推构建世界模型先验,在 TAPVid360 基准上实现离屏目标跟踪的最优性能。
针对现有具身检索增强生成(RAG)系统易累积语义标签、物体位置及空间关系错误的局限,论文提出 SPARK 框架。该框架在首个任务集后利用语义批评标记知识库错误区域,通过规划器生成针对性重访,并基于新观察结果选择性合并信息以修正记忆。
推荐理由:提出 SPARK 框架,通过语义批评与目标重访修正具身记忆错误,在 AirSim 仿真环境中显著降低存储开销并提升问答性能。
论文提出 Seeing the Unseen 框架,旨在解决现有视频生成方法缺乏显式物理过程建模导致动态不一致的问题。该方法分为两阶段:首先利用轻量级粒子图动力学模拟器(PGDS)从数据中学习泛化物理交互并预测合理的三维运动轨迹;其次构建可见 - 不可见运动场(VIMF),捕捉输入帧中可观测的运动及随时间涌现的物体动态,相比传统物理信号提供更完整和结构化的运动引导。
Archon Robotics 发布 Anchor 1,一种面向人形机器人全身精准稳定操控的控制器及基准测试集。该方法采用校准后的稀疏运动参考以保留任务相关的人体运动结构,无需在线关节空间重定向;通过离线整理机器人运动数据塑造训练分布,并引入与运动编码解耦的显式误差反馈以提升控制精度。
推荐理由:该工作提出 Anchor 1 控制器与基准,在仿真和硬件上均实现更优的全身操控精度与稳定性。
该论文提出 Scaling Trusted Autonomy 框架,旨在解决基础模型驱动机器人缺乏内部状态可验证性的问题。研究通过神经符号方法融合学习模型的通用性与显式结构:LIMP 利用空间推理将自然语言指令映射为任务约束与语义地图以支持规划;REALM 维护可编辑的光照逼真 3D 高斯场景并预测操作后果以实现局部修正;PACTS 联合生成动作轨迹及其符号效应预测。
论文介绍 SIMIT 框架,允许视觉语言模型在不依赖外部标注的情况下,于测试阶段自行构建特定查询的训练数据以改善性能。该方法通过生成多样化的问题、答案及图像三元组,并结合多阶段验证与自适应预算分配来筛选有效样本。实验显示,SIMIT 在 17 个基准测试中优于现有方法,其中最佳配置相比 BAGEL-7B 平均相对提升 7.20%,且无需训练的 SIMIT-ICL 版本也实现了 6.98% 的提升。
论文提出 SparseWAM,旨在解决基于视频生成器的世界动作模型(WAMs)推理延迟高及丢弃世界分支的问题。该方法将冻结的 DINOv2 特征压缩至每帧仅 16 个稀疏 Token 的注册空间,利用联合规划与评分预训练集中决策相关信息,并采用解耦模态的混合 Transformer 架构保留显式的“想象后行动”推理能力。
论文 FORCE 提出一种能从原始视频中推断并显式表示成对物体交互关系的视频世界模型架构,支持直接移除、改变或引入特定物体间的相互作用。该方法利用冻结自监督特征的槽注意力提取物体,通过关系编码器将短时观察窗口转化为力,并在 rollout 过程中保持潜变量固定以确保编辑持久性。
该论文提出了 TRACE-CBM(Temporal Relational Activity Concept Evolution)模型,旨在解决概念瓶颈模型无法预测未来概念演化的问题。
推荐理由:提出 TRACE-CBM 模型,通过稀疏时空图预测概念演化并支持干预编辑,在视频活动预测任务上显著优于现有方法。
该研究引入协作智能基准(Collaborative Intelligence Benchmark),包含 240 个来自真实记录或现有基准的任务,涵盖拒绝不安全捷径、检查弱模型遗留工作等维度。
论文介绍 CoworkOS,这是一个通用框架,旨在支持长周期的自动化工作。其架构将任务策略与执行管理分离,模型负责决策与委托,运行时维护状态与反馈;通过共享应用层实现人与智能体对文档、CAD 模型等的协同编辑。
智己 LS8 NEO 于 10 月 29 日开启预售,全系标配宁德时代定制高品质电池及 Momenta 世界模型赋能的全域物理 AI。新车提供 93kWh 和 103kWh 两款电池版本,CLTC 续航分别达 684 公里和 752 公里,百公里电耗低至 15.2kWh。双大厂协同实现了低温 SOC 估算精度提升至 2%-3%、15 分钟补能 529 公里及全系标配全线控灵蜥底盘等越级配置。
北京大学孙仲团队联合IBM苏黎世研究院及硅谷初创公司Unconventional AI,在Nature旗下期刊发表综述论文,从任务、硬件与应用可行性三维度正式定义「现代模拟计算」。
MIT团队展示了一种名为“权重空间编程”的新范式,让通用大模型(如GPT-6 Astra)在不使用梯度下降或重新训练的情况下,直接分析并修改神经网络权重以优化性能。实验显示,该方法将Qwen3.5的数学能力从7.9%提升至48.1%,指令执行能力提升3倍;在MinAtar游戏中,从零构建的网络得分超传统PPO训练20倍。
2026 年 10 月 31 日,B 站超级科学晚在北京举行,新增飞行汽车、具身智能、脑机接口等议题并展开 15 场对谈。神舞科技现场演示多人脑电互动实验;梅卡曼德预测三到五年内具身智能将在制造物流落地;松延动力指出世界模型可降低具身智能试错成本,将人力与折旧转化为算力成本。