跳到正文
11月10日周二
  1. arXiv · 机器人与计算机视觉85

    Latent-WAM++:面向端到端自动驾驶的世界与动作表征塑造

    论文提出 Latent-WAM++,一种面向端到端自动驾驶的以表征为中心的世界动作模型(WAM)。该方法通过场景 - 自车未来预测、SIGReg 分布稳定化及冻结几何先验构建世界表征;利用改进的 MeanFlow 速度空间目标直接预测多模态轨迹提议并实现一步采样;同时对齐视觉语义衍生的停止梯度目标以优化预输出动作特征。

    推荐理由:该工作提出 Latent-WAM++,通过重塑中间表征监督与冻结几何先验,在 NAVSIM v2 实现 SOTA 性能并将端到端规划器训练成本降低 88.1%。

  2. arXiv · 机器人与计算机视觉58

    HSGNav:基于假设场景图的多尺度终身导航方法

    论文提出假设场景图(HSG)架构,将持久 3D 家具实体与可修订的表面物体假设分离,以解决小物体检测脆弱及场景变更后陈旧条目残留问题。在此基础上构建的 HSGNav 支持多尺度终身导航:检索阶段根据目标规模选择证据,探索阶段获取额外表面观测,验证阶段确认目标存在或剔除矛盾记录。

  3. arXiv · 机器人与计算机视觉35

    Latent-Action World Models 跨角色身体结构的动作迁移实证研究

    该研究针对无标签视频学习动作的潜在动作世界模型,探索了其在不同身体结构(如猫、Blob 和人类)间的动作迁移可行性。实验在包含六种身体计划的合成基准及 DeformingThings4D 数据集上验证,发现固定相机下基线屏幕运动得分高达 0.71,而跟随相机的最佳模型对未见动物家族仅得 0.46。

  4. arXiv · 机器人与计算机视觉83

    SPARK-VLA:一种无需外部 3D 输入的视觉语言动作模型空间表征蒸馏与知识路由方法

    针对视觉语言动作模型(VLA)理解三维物理结构的需求,本文提出 SPARK-VLA 框架,在无需推理时引入外部 3D 输入或专家的前提下实现空间适配。

    推荐理由:提出无需外部 3D 输入的 SPARK-VLA 框架,通过注意力对齐蒸馏与轻量路由实现参数高效的 3D 感知 VLA 学习。

  5. arXiv · 机器人与计算机视觉82

    通过蒸馏信念空间任务与运动规划器部署合规智能体

    针对强化学习难以完美优化奖励导致行为不合规的问题,本文提出结合离线规划生成轨迹数据集并蒸馏为基于原始观测的策略的方法。该方法引入双重平均损失和ρ-最优强化机制以解决历史依赖策略的难题,并在需要获取信息才能成功的 Scavenger 挑战域中实现超过90%的成功率,而强化学习基线最高仅为5%。研究还展示了该蒸馏策略在遵循未见过的模糊指令及泛化至更大平面图时的迁移能力分别超过60%和75%。

    推荐理由:提出将离线规划蒸馏为策略的新方法,在信息获取任务中成功率超90%,显著优于强化学习基线。

  6. arXiv · 机器人与计算机视觉82

    Mental Imagery That Matters:治愈多模态推理中的潜在坍缩

    该论文提出 Mental Simulation Collapse (MSC) 现象,指出当前多模态大模型在潜在空间进行视觉推理时,往往仅通过文本路径计算答案,内部生成的视觉潜变量对结果影响微乎其微。作者引入 AnchorSim 对比蒸馏框架训练模型,使生成的视觉潜变量变得关键,从而在多模态推理基准上提升性能并修复该失效模式。

    推荐理由:本文揭示了潜在多模态推理中的‘思维模拟崩塌’失效模式,并提出 AnchorSim 框架使内部视觉状态对预测产生实质性影响。

  7. arXiv · 机器人与计算机视觉67

    Tiresias:面向语言条件的世界模型研究

    该论文针对自然语言指令驱动的内部模拟规划任务,提出了统一的共享任务 LCWM 及包含 15 个数据集的基准 LCWM-Bench。作者引入了 Tiresias 智能体,通过选择性想象机制结合扩散策略、轨迹排序器与视频预训练世界模型实现高效规划。实验表明该方法在导航、机器人、3D 游戏和驾驶等多域任务上具有竞争力的性能,为研究语言引导的世界模型规划提供了统一评估起点。

  8. arXiv · 机器人与计算机视觉5

    Qwen3-VL-8B-Instruct 用于野火城市界面结构威胁识别的零样本评估

    Qwen3-VL-8B-Instruct 在零样本提示下对 1,824 张合成图像和 45 帧受控燃烧实验视频进行结构级火灾威胁识别,有效输出准确率分别为 94.0% 和 69.2%,显著优于随机基线。模型在视觉特征清晰时能准确识别目标,但在复杂场景中解读空间关系存在困难。该双轨测试协议为评估视觉语言模型在物理火场条件下的行为提供了可扩展的压力测试与受控参考基准。

  9. arXiv · 机器人与计算机视觉35

    LSRP*:支持异步动作的多智能体路径规划可扩展 anytime 算法

    LSRP* 是一种新型 anytime 规划器,能在获取初始解后持续优化直至预算耗尽。该算法在最多 1000 个智能体的多种地图测试中,可处理比 LSRP 多 25% 的智能体并将解成本降低最高 40%。研究针对传统同步动作假设的局限性进行了改进与验证。

  10. arXiv · 机器人与计算机视觉68

    MaRiO:基于共享观测的多智能体协作推理基准

    MaRiO 是一个用于评估多智能体协作推理的基准,针对现有 MLLM 在独立视角下对同一环境进行跨视角对应关系推理的挑战进行了研究。作者评估了 23 个最先进模型,发现静态感知任务较易,而变换事件序列和复杂场景下的跨视角对应及几何线索利用存在困难。作为初步探索,论文提出了基于几何引导的合成视图增强方法,通过生成智能体观测间的中间过渡帧来提供辅助空间上下文。代码已在项目页面开放。

  11. arXiv · 机器人与计算机视觉58

    OfficeTwin:通过部分视角感知实现冗余场景的 3D 重建

    论文 OfficeTwin 提出一种面向机器人的框架,将受限自由度摄像头采集的不完整、弱纹理且存在重复结构的办公场景观测,转化为仿真就绪的数字孪生体。该方法先施加度量与结构约束,再利用办公空间的结构冗余性,将重复的工位配准到共享标准坐标系中,从而通过互补观测恢复被遮挡几何而不产生幻觉。在真实办公扫描数据上,OfficeTwin 成功恢复了每个工位的独立水密实体,性能优于前馈重建和生成式基线方法。

  12. arXiv · 机器人与计算机视觉58

    杂乱环境中感知可捕获性的步态规划:轴对齐安全走廊上的递归可行序列 MPC

    该论文提出了一种针对线性倒立摆(LIP)人形机器人的步态规划框架,旨在同时保证避障和运动稳定性。方法通过构建由相交矩形组成的安全走廊,将避障与可捕获性约束相结合,实现了具有递归可行性保证的序列模型预测控制(MPC)。规划器能自主适应受限场景,例如在门意外关闭时切换为原地行走。性能对预测视界依赖较小,在高保真仿真中利用 Digit 机器人验证了其在杂乱环境中的实用性。

  13. arXiv · 机器人与计算机视觉75

    超越语义类别:通过嵌入条件高斯混合模型进行在线物理参数估计

    该论文提出一种实时物理参数估计器,用交互驱动的高斯混合后验替代固定语义类索引,直接基于连续视觉嵌入检索和加权历史交互。方法包含支持感知的融合机制以应对稀疏数据,并通过学习到的嵌入优化提升检索相关性。实验显示该方法能恢复多模态物理信念、拒绝无关历史且不依赖空间地图离散化;在高保真自动驾驶赛车仿真中,控制器随圈数增加积累证据而自适应调整,提升了性能并保持摩擦感知行为。

  14. arXiv · 机器人与计算机视觉73

    从视频到数字孪生:野外视频的世界模型与高斯泼溅探索性研究

    该研究利用公开的新闻走场视频,验证了生成式世界模型结合 3D 高斯泼溅技术将普通影像转为度量级可探索 3D 场景的可行性。实验显示,商业世界模型在少量帧输入下能恢复相机姿态与深度并融合为约 74.7 万个高斯泼溅点,但在未观测区域外推失败且需脚本填充;本地优化的高斯泼溅虽真实但仅在拍摄路径附近有效。

  15. arXiv · 机器人与计算机视觉78

    QCVS:一种用于多模态推理的问题对比视觉引导方法

    针对视觉语言模型推理时感知噪声干扰问题,作者提出 QCVS 方法,通过双差分激活探测隔离任务特定方向,利用双阈值门控机制仅在必要时更新隐藏状态。在 Qwen3.5 和 DeepSeek-VL2 上的实验显示,该方法在稀疏覆盖下实现最高约 13.98% 的修复率,同时将副作用降至 0.41%,无需真值监督即可提升多模态推理准确率。

    推荐理由:提出无需真值监督的推理干预方法,在稀疏覆盖下实现高精度修复与低副作用。

  16. arXiv · 机器人与计算机视觉74

    偏好增强分布强化学习用于风险敏感型导航

    针对自主系统在不确定性下安全导航的挑战,本文提出一种偏好增强分布强化学习方法。该方法将风险偏好的变化表示为量化权重分布的偏移,并通过偏好引导探索让智能体接触多样化偏好;部署时优化最坏情况下的偏好分布以生成保守策略,从而减少超参数调整和对外部传感器信号的依赖。实验表明,该方法在仿真环境和车辆平台上均能降低碰撞率并提高任务成功率。

  17. Hugging Face Daily Papers78

    世界模型需要多少曝光才能学会未见过的游戏机制?

    论文提出 MechEval 基准和 WARC 模型,研究世界模型在陌生环境中通过有限交互学习新机制的能力。结果显示,WARC 模型在半数情况下仅需约 80 次曝光即可达到 80% 的预测准确率,且测试时训练能将闭环探索效率从 0.15 提升至 0.46。该工作为 ARC Prize 2026 论文赛道投稿,代码与权重已开源。

    推荐理由:该研究在 ARC-AGI-3 基准上量化了世界模型学习新环境机制所需的曝光次数,并展示了测试时训练对闭环探索效率的提升。

  18. 盖世汽车 · 汽车资讯70

    百度Apollo披露全模态世界模型Apollo World

    百度Apollo在深圳AI Day首次披露智能体驱动的全模态世界模型Apollo World,提出“2+3”判断标准以支撑高安全要求的自动驾驶验证。该模型具备因果性、交互性及物理准确性等核心能力,支持行程级闭环测试与多场景按需复现,旨在降低真实路测成本并加速车端迭代。

  19. Hugging Face Daily Papers38

    多模态智能体跨场景自进化机制综述与分析

    该综述调查了多模态推理、生成、GUI/Web 导航及具身操作四种场景下,无需人工标注的自进化机制在跨场景转移时的不对称性来源。研究将自进化定义为包含经验生成、反馈获取与更新整合三阶段的循环,并分析稀缺因素组合如何限制不同方向的能力迁移。文章提出通过匹配预算测量来推翻当前未验证的结论,共 44 页含 15 张表格和 4 幅图表。

  20. Hugging Face Daily Papers72

    BirdDreams:联合视角与 BEV 视频生成的自动驾驶世界模型

    BirdDreams 是一种自动驾驶世界模型,能够联合生成视角视频和鸟瞰图(BEV)视频,将场景布局纳入预测的未来中。该模型通过两个扩散 Transformer 的联合注意力机制,在无需 HD 地图或车辆状态输入的情况下,仅凭单张相机图像即可生成更合理的自车运动及周围车辆行为。

11月9日周一
  1. arXiv · 机器人与计算机视觉35

    Platonic Representations in the Human Brain:无监督恢复通用几何的自监督编码器研究

    该研究利用 Natural Scenes Dataset fMRI 数据,提出一种仅需重复刺激呈现即可从脑数据单独学习受试者特定嵌入的自监督编码器。通过无监督正交旋转实现跨受试者空间对齐并同步至共享潜在空间,无需配对样本或中间模型表示即完成跨主体检索优化。结果证实人类视觉响应表征存在共享几何结构,代码已开源。

  2. arXiv · 机器人与计算机视觉68

    信号存在但预测失败:探究大视觉语言模型中的图表表示

    该论文针对大视觉语言模型在理解图中节点间关系(特别是边)时表现不佳的问题,利用合成数据集进行线性探测实验,发现关于节点和边的信息虽存在于隐藏状态中且可解码,但与最终输出存在差距。研究进一步通过因果干预证实部分内部信号确实影响预测结果,且该结论同样适用于流程图等真实图表场景。

  3. arXiv · 机器人与计算机视觉48

    PSP-DiT:将全景场景程序作为潜变量引入扩散 - Transformer 架构以增强组合提示生成能力

    PSP-DiT 是一种将全景场景程序视为第一类潜变量的扩散 - Transformer 架构,通过联合去噪图像与场景程序潜变量实现对象实例、属性及关系的视觉对齐。该方法在 GenEval 2、SANEval-Simple 等基准上优于强基线,尤其在计数、属性绑定和长结构提示任务中提升显著,同时保持图像质量并仅增加适度推理开销。

  4. arXiv · 机器人与计算机视觉82

    基于潜在黎曼流匹配的几何锚定 3D 基础模型研究

    针对现有几何基础模型(如 VGGT)确定性操作且无法生成超出观测支持的合理几何结构的局限,本文提出在潜在空间直接进行流匹配的方法。该方法利用学习到的 3D 先验,无需显式表示(如高斯、网格或视频 VAE 潜变量),并通过黎曼流匹配尊重潜在空间的几何结构(零均值超球面乘积流形)。

    推荐理由:该方法在几何基础模型的潜在空间直接进行黎曼流匹配,无需显式表示即可生成合理的 3D 几何结构。

  5. arXiv · 机器人与计算机视觉75

    EvoPlan:具备时空保证的进化式神经符号机器人规划

    针对大语言模型规划器缺乏执行与安全保证的问题,本文提出 EvoPlan 框架。该框架包含三部分:首先离线挖掘信号时序逻辑(STL)移动约束以屏蔽策略;其次利用进化式 PDDL 规划器结合程序验证迭代修复计划;最后通过闭环执行循环将 Nav2 生成的路径与约束对齐并动态重规划。

  6. arXiv · 机器人与计算机视觉70

    CLAW:基于对抗正则化的连续潜在动作世界模型

    论文介绍 CLAW,这是一个端到端的自监督框架,能从无动作标注的视频中联合学习世界模型与连续潜在动作表示。方法利用对抗性潜在正则化防止潜在变量编码未来观测,使其捕捉动作结构;扩散式世界模型将环境动态建模为未来观测的分布而非确定性 rollout。

  7. arXiv · 机器人与计算机视觉78

    EGOSTREAM:面向第一人称视觉的流式情节记忆诊断基准

    EGOSTREAM 是一个用于评估第一人称视觉中连续情节记忆的流式基准测试工具。该基准包含 2,250 个精心策划的问题,覆盖细节、空间、时间、事件、社会、因果及前瞻性记忆七个认知维度,并引入答案有效时间窗(AVW)机制以区分模型遗忘与世界状态变化。

    推荐理由:该基准通过引入答案有效时间窗和统一流式多模态框架,揭示了当前记忆管理策略在细粒度细节与长时回忆上的显著差异。

  8. arXiv · 机器人与计算机视觉72

    SliceWorld:一种用于 CT 报告生成的预测性与可控世界状态模型

    SliceWorld 是一种针对 CT 报告的专用世界状态框架,将轴向 CT 扫描视为沿 z 轴的有序序列。该模型通过编码前缀证据为包含解剖、病变和不确定性组件的因子感知潜在状态,并将其投影为世界令牌,用于多步未来切片特征预测、病变因子干预及基于大语言模型的报告生成。

  9. arXiv · 机器人与计算机视觉70

    RigidFormer:利用 Transformer 学习无网格刚体动力学

    论文介绍 RigidFormer,一种面向物体的 Transformer 模型,用于从点云等无网格表示中学习高保真刚体动力学。该方法通过锚点顶点池化保留接触相关几何信息,利用基于锚点的旋转位置编码处理无序物体布局,并通过可微 Kabsch 对齐强制刚性约束。

  10. arXiv · 机器人与计算机视觉45

    SimpliHuMoN:简化人类运动预测的端到端 Transformer 模型

    SimpliHuMoN 提出一种基于自注意力模块的端到端 Transformer 模型,无需任务特定修改即可统一处理姿态、轨迹及联合预测。该模型在 Human3.6M、AMASS、ETH-UCY 和 3DPW 等多个基准数据集上取得最先进结果。论文已获 NeurIPS 2026 接收,代码与数据开放许可情况需参考原文附录。

  11. arXiv · 机器人与计算机视觉65

    XIT:面向未知环境的主动气体分布建图探索与利用信息树

    论文提出 XIT(Exploration and Exploitation Informed Trees)算法,将主动气体分布建图建模为下一最佳轨迹信息路径规划问题。该方法构建共享树以同时处理未解析区域的探索与信息采样,引入气体前沿概念及 WGFD 算法识别高浓度邻域区域。仿真与缩放的真实世界实验验证了其在建图质量、效率及实用性上的优势,适用于其他面临探索 - 利用权衡的机器人信息收集任务。

  12. arXiv · 机器人与计算机视觉42

    Remote Sensing Change Detection via Weak Temporal Supervision 方法利用现有单时相数据扩展观测,无需新标注实现遥感变化检测

    该方法通过引入额外时间观测并利用“真实双时相对大多无变化”的假设生成弱标签,结合对象感知变化图与迭代 refinement 处理噪声。在 FLAIR 和 IAILD 数据集扩展版上验证了零样本及低数据 regime 下的竞争力,并在法国大范围区域展示了可扩展性潜力。论文已接受发表于 WACV2027,代码与权重开放许可情况需查阅原文。

  13. arXiv · 机器人与计算机视觉78

    用测试时基于模型的强化学习在世界模型中编码记忆

    针对现有方法在需要长期记忆与规划的任务上难以超越人类表现的问题,本文提出测试时基于模型的强化学习方法,利用测试时的梯度下降将单集观测编码进世界模型参数,使智能体能为每个单集学习独立的世界模型。研究先在二维简化版记忆迷宫环境中验证概念,随后在三维领域实现该基准的新最先进水平,并在 DeepMind Control 和 Atari 100k 等非记忆基准上保持强性能。

    推荐理由:提出测试时基于模型的强化学习,通过梯度下降将单集观测编码进世界模型参数以增强长期记忆能力。

  14. arXiv · 机器人与计算机视觉83

    A Stochastic Latent Variable Generalization of Joint-Embedding Predictive Architectures

    该论文提出了 S-JEPA 模型,将联合嵌入预测架构中的辅助变量 z 从固定确定性 token 扩展为随机潜变量。通过训练时学习后验分布和推理时使用上下文条件先验分布,该方法在无需解码器和重建的情况下实现了掩码图像预测。研究结果表明,引入随机性不仅保持了与确定性 I-JEPA 相当的表征质量,还显著提升了错误相关的预测不确定性和生成结果的多样性,并输出了空间结构化的不确定性图。

    推荐理由:提出将辅助变量改为随机潜变量的 S-JEPA,在保持表征质量的同时提升预测不确定性估计与生成多样性。

  15. arXiv · 机器人与计算机视觉53

    BEV3SR:一种基于证据感知的视频三维空间推理方法

    论文介绍 BEV3SR,这是一个无需训练且对骨干网络无关的框架,旨在利用带有相机参数的 RGB-D 视频进行显式的三维空间推理。该方法将视频观测转化为可查询的度量鸟瞰图(BEV)场景记忆,并将每个查询形式化为证据感知的空间任务:若需几何证据则通过几何推理器在指定参考系中计算答案;否则通过视觉证据对齐器检索与物体一致的 RGB 帧以支持 VLM 定位。