跳到正文
10月30日周五
  1. arXiv · 机器人与计算机视觉42

    Probing Spatial State Representations in Visual Foundation Models 研究视觉基础模型的空间表征能力

    该研究通过冻结特征探针,在静态室内环境的流式自我中心观测下,评估了十种视觉基础模型在空间结构、物体持久性、预测更新及可操作性四个层面的表现。结果显示强场景读出并不保证准确的物体持久性或未来特征检索,且基于真实特征的读取器无法直接迁移至预测特征。这些发现表明需超越解码能力,进一步验证信息是否能在观测外维持、进行预测更新并用于目标导向行动。

  2. arXiv · 机器人与计算机视觉82

    Fight World Model:支持自定义战斗规则的可视化交互代理世界模型

    Fight World Model 是一种可编程的游戏世界模型,通过将规则驱动的战斗执行与视频渲染分离,利用确定性编译器生成空间时间对齐的交互代理,实现了伤害缩放、免伤机制及角色场景定制等功能。该模型在 FightWorld Corpus 上训练,无需重训渲染器即可支持多种技能机制,并在动作保真度、打击反应一致性和外观保持方面优于现有游戏世界模型。项目代码与资源可通过提供的链接获取。

    推荐理由:该报告提出 Fight World Model,通过分离规则执行与渲染及引入交互代理,解决了现有视频世界模型在战斗状态一致性与可定制性上的不足。

  3. arXiv · 机器人与计算机视觉82

    PhysVLMM:面向机器人场景地图的交互条件化物理信念图

    该论文提出 PhysVLMM 方法,为视觉 - 语言 - 运动地图中的每个铰接部件维护物理信念并回答规划器查询。面对移动物体无法识别动力学、仅凭拉动测量只能确定被拉部件及方向的问题,该方法将方向作为后验分布而非点估计,以闭式形式传递证据给未受影响的相似部件,并在给定风险下判断动作是否成功或放弃。

    推荐理由:PhysVLMM 方法在真实家居环境中实现了对铰接物体动力学的快速推断,显著优于可微仿真与单视角学习基线。

  4. arXiv · 机器人与计算机视觉42

    自适应搜索:基于路径约束移动传感器与多臂老虎机算法的有限时间概率保证研究

    该研究针对能量受限的移动传感器团队,提出一种将主动路径选择建模为多臂老虎机问题的迭代搜索算法。该方法在满足预计算可行路径、返回充电站及避障等运动约束下,利用置信界自适应分配路径并构建低基数路径覆盖。数值仿真表明,所提算法建立了有限时间和任意时刻的概率正确性保证,其检测所有感兴趣区域的时间上界与问题实例类无关的下界仅相差常数因子。

  5. arXiv · 机器人与计算机视觉82

    连续动作世界模型:学习跨本体时空动力学先验

    arXiv 发布论文介绍连续动作世界模型(CoAWM)框架,旨在支持跨机器人本体的动作生成与执行频率适配。核心是共享潜在函数空间,通过两阶段学习:首先利用不同本体和采样频率的轨迹进行预训练以获取共享动力学先验;随后连接世界模型骨干网络,使观测、语言指令和当前状态能条件化地预测潜在动作函数。

    推荐理由:该预印本提出 CoAWM 框架,通过共享潜在函数空间实现跨机器人本体与控制频率的动作生成迁移。

  6. arXiv · 机器人与计算机视觉78

    HiFOR:面向视觉语言动作模型的动作引导分层前瞻与世界对齐研究

    该论文针对现有方法将短期动态与长期任务目标割裂、且未充分考虑预测未来与当前动作需求相关性的问题,提出了 HiFOR 框架。该方法通过层级依赖掩码联合预测短期状态演化、语义里程碑及最终目标状态;利用结构感知隐式世界建模沿时间、视角和空间维度组织未来潜在表示以支持细粒度检索;并在去噪过程中基于演化的动作表示自适应检索相关信息以指导动作生成。实验在两个仿真基准和六个真实机器人操作任务上验证了有效性。

    推荐理由:提出分层前瞻框架,通过层级依赖掩码统一预测短期状态与长期目标,并结合结构感知隐式世界建模实现动作引导的未来信息检索。

  7. arXiv · 机器人与计算机视觉45

    EpiCoach:基于可穿戴数据的个体化生理代理贝叶斯实验设计系统发布

    EpiCoach 系统将一名越野山地车运动员作为可审计的 N-of-1 科学主体,利用心率、GPS 及气压数据构建机械式数字孪生以预测未来表现。系统在十八个月数据上评估显示,滚动原点回放基准中该孪生模型在预测心率方面优于标准预报器但未能超越分段时间预测;实时前瞻阶段前三周账本封存 20 个预测并评分 14 个,安全官否决了两次建议。

  8. arXiv · 机器人与计算机视觉78

    Wizard:通过智能体控制实时操控任意世界

    arXiv 论文介绍 Wizard,一种支持实时、精准控制角色动作并能在未见场景与角色上零样本泛化的智能体游戏世界模型。作者构建了包含 750 个场景和 178 个人物的数据集,利用骨架与几何信息作为结构化代理条件视频生成模型,并结合自适应掩码机制优化对齐。该框架显式维护游戏状态,允许玩家自由配置虚拟世界并精细控制角色动作,同时保持视觉质量与玩法一致性。

    推荐理由:该工作提出 Wizard 框架,通过结构化代理与智能体控制实现角色动作的实时精确操控及跨场景零样本泛化。

  9. arXiv · 机器人与计算机视觉74

    RFW-A:基于智能体的程序化生成方法构建40万+可动资产库

    针对高质量可动资产(articulated assets)构建困难的问题,本文提出 RFW-A 框架,结合智能体合成与程序化生成的优势。该方法将类别内共享的构造逻辑组织为可复用生成器,经智能体测试验证后,通过纯程序执行批量生产多样化资产,无需额外模型调用或 Token 费用。实验表明,基于该库训练的模型在未见类别上具备高结构/运动学有效性,且仿真策略能零样本迁移至真实物体。

  10. arXiv · 机器人与计算机视觉58

    Video Generation Meets Agent Harness:代理视频生成、代理世界建模与递归自我改进

    该论文提出 Agent Harness 作为可执行运行时环境,用于构建上下文、暴露工具并管理状态以协调视频模型。报告重点探讨了三大方向:一是代理视频生成,涵盖脚本编写、镜头规划及编辑的评估挑战;二是代理世界建模,利用游戏引擎或程序维护世界状态,结合视频模型渲染观测,实现双向评价与改进;三是递归自我改进(RSI),区分输出修订、参数更新及改进流程本身的迭代。

  11. arXiv · 机器人与计算机视觉78

    SelfThinker:基于可靠性验证的内生视觉思维的自我进化推理

    SelfThinker 是首个无需人工图像标注即可将统一模型生成的视觉思维转化为更强理解力的自进化框架。该方法通过采样候选辅助图像并利用冻结的理解路径进行评分,利用高效用思维通过流匹配优化生成器并作为策略蒸馏的私有教师上下文。

    推荐理由:提出首个无需人工标注的自进化框架,利用生成路径辅助理解并提升多模态模型的视觉推理能力。

  12. arXiv · 机器人与计算机视觉78

    基于二元可行性预言机的安全流匹配机器人策略学习

    针对流基动作生成难以保证关节限位和碰撞避免的问题,本文研究仅通过黑盒可行性预言机访问可行集的设定,提出一种引导的可微分防护机制。该机制在正向传播中利用二元查询修正不安全更新,在反向传播中提取局部边界信息提供约束感知学习信号。

    推荐理由:该文提出一种无需可微分约束模型的引导机制,利用二元可行性查询在训练与推理阶段同时保障物理约束满足。

  13. arXiv · 机器人与计算机视觉75

    VLA 应如何信任其推理?基于测量动作价值的步骤级引导

    论文提出 CoC-CFG 与 Q-adaptive guidance 方法,通过调节分类器自由引导的权重来平衡 VLA 策略中推理痕迹对动作生成的影响。该方法将权重选择建模为马尔可夫决策过程,利用专家冻结和固定噪声精确测量各步骤的动作价值,并拟合小批评网络进行保守优化。

  14. arXiv · 机器人与计算机视觉82

    GROME:将因子化记忆引入视频世界模型

    针对视频世界模型在长视界一致性上的挑战,本文提出了 GROME 框架。该框架通过静态 - 动态因子化解耦历史证据、局部记忆检索消除几何漂移以及无需训练的内存注入机制,在不修改冻结主干网络的前提下显著提升了场景持久性与动态实体保真度。实验表明,GROME 能兼容外部观测作为即插即用记忆,支持灵活的视频续写与场景探索。

    推荐理由:提出无需额外训练的因子化记忆框架,解决视频世界模型在长视界场景下的几何漂移与动态实体保真度问题。

  15. arXiv · 机器人与计算机视觉75

    面向黑盒视觉定位的代理不确定性方法

    本文针对机器人利用黑盒视觉语言模型进行视觉定位时的不确定性问题,提出一种形式化的贝叶斯定义与外部代理贝叶斯模型。该方法将 VLM 预测视为观测,通过分层检索在保留校准集局部邻域内量化每查询的不确定性,并分解为偶然性与认知性成分。研究结果表明,该方法能改善校准度与任务性能,并在真实 Fetch 机器人上实现自信行动与信息收集的权衡,提升鲁棒性。

  16. arXiv · 机器人与计算机视觉23

    物理先验在稀疏传感下提升气流估计效果:四方法对比与 IEEE SENSORS 2026 录用

    针对高分辨率空间感知不可行的场景,研究定量评估了四种气流估计器在三种稳态二维仿真及不同采样密度下的表现。结果显示物理先验在低采样密度下补偿缺失信息效果最佳,而数据驱动的高斯过程回归随传感器覆盖增加竞争力增强但模型基线仍保持精度优势。该工作已接受发表于 IEEE SENSORS Conference 2026。

  17. arXiv · 机器人与计算机视觉70

    Teaching a Tree to Recover:通过反事实回放在线蒸馏 LLM 监督器

    针对自主移动机器人在复杂布局中因非凸避障和有限视域导致局部模型预测控制器(MPC)冻结的问题,研究提出将大型语言模型(LLM)监督器在线蒸馏为决策树的方法。该方法在每次训练集后利用反事实回放对恢复、不必要或有害的决策进行标记并淘汰无效规则。

  18. arXiv · 机器人与计算机视觉48

    WorldProbe:视频世界模型在长视界空间探索下的失效诊断基准

    WorldProbe 是一个利用目标条件多模态智能体在线调整相机动作的诊断基准,包含 164 个测试用例。该基准对 10 种先进模型生成了超 1,600 次 rollout(总时长约 800 分钟、视界最长 180 秒),揭示了局部生成稳定但长程记忆与演化薄弱的差距。代码与基准资源已公开,旨在弥补现有评测忽视的持久世界一致性缺陷。

  19. arXiv · 机器人与计算机视觉31

    AI for Science in Space:轨道实验室、行星实地作业与具身自主综述

    该综述考察了微重力环境下生物学、材料学等领域的轨道实验室与行星原位科学,区分了从空间数据学习、选择行动到执行及保持有效性的全过程。文章结合地球自驱动实验室证据,提出通过样本历史、科学决策、物理执行及特定主张有效性来衡量自主性的框架。最终议程旨在评估完整任务中传感、决策策略与物理动作的贡献,填补观测、可执行行动及连续有效证据的差距。

  20. arXiv · 机器人与计算机视觉82

    思考型 VLM 的细粒度感知:局部化 - 头部对齐

    针对思考型视觉语言模型在高分辨率图像中遗漏细节的问题,研究提出利用注意力头作为训练信号的对齐方法。该方法让模型在学习推理陈述视觉事实时,将注意力聚焦于关键区域而非背景,从而提升细粒度感知准确率。

    推荐理由:提出利用注意力头作为训练信号的对齐方法,在无需多轮推理的情况下提升细粒度视觉任务准确率。

  21. arXiv · 机器人与计算机视觉73

    Vision Language Models 在 3D 推理中的失败点:BedBench 基准研究

    该论文引入 BedBench 基准,通过十三项程序化生成任务评估 VLM 的 3D 属性恢复能力。研究发现人类在按颜色计数任务中准确率达 93.3%,而最佳模型仅为 7.2%;即使针对某模型微调将准确率提升至 68.6%,其回答仍与自身计数不一致。研究进一步指出,单纯增加视觉线索或推理规模无法使精确答案可靠,且部分成功无需视觉证据。代码与数据集已公开。

  22. arXiv · 机器人与计算机视觉75

    Ask to Evolve:一种支持终身具身导航的统一框架

    论文提出了 EvoLife 统一导航框架,赋予智能体自主选择移动方式、何时提问及保留何种经验的自由。其混合动作空间涵盖航点导航、局部离散调整、像素级导航及物体导向导航;主动交互机制允许在遇到歧义或困难时寻求澄清或协助;持久空间记忆则将观察与对话绑定至具体位置以复用经验。

  23. arXiv · 机器人与计算机视觉48

    Diagnosing the Reference Gap:视觉支架在多模态推理中的局限与修复边界

    多模态大模型虽能识别视觉内容,却在跨步推理中因语言与实体绑定失败而受阻。研究提出 ReGap-Bench 基准测试发现,任务匹配的参考(如编号)可使准确率提升最高 25%,不匹配则无效甚至有害。这表明构建适配任务的视觉支架是无需训练的改进多模态推理技能,而非感知缺陷所致。

  24. arXiv · 机器人与计算机视觉78

    解码几何而非 Token:用于机器人功能与轨迹预测的高效视觉语言模型

    论文指出视觉语言模型将坐标离散化为文本进行自回归解码会忽略空间结构并累积误差。作者提出在冻结骨干网络后附加轻量级几何兼容预测头,直接回归连续的功能框和轨迹关键点。实验显示该方法在 ShareRobot-Bench 上将功能预测 mAP 提升 85%,轨迹预测误差降低超 60%,吞吐量是基准的 3.8 倍,接近 RoboBrain 水平。

    推荐理由:该工作证明冻结骨干网络的 VLM 中间层已包含丰富空间信息,通过轻量几何头即可将轨迹预测误差降低超 60%。

  25. arXiv · 机器人与计算机视觉82

    Youtu-Parsing-Omni:单一编码器与图式实现全模态解析

    arXiv 发布论文 Youtu-Parsing-Omni,提出一种全模态解析器,将文档、图像、音频和视频转换为时空结构化记录。其设计基于单一编码器和单一任务图式,在 OmniDocBench v1.6 上取得开源模型最佳整体分数(96.96),并在图表解析和化学指纹匹配等特定任务上表现领先。代码与权重已公开。

    推荐理由:该工作提出统一编码器与图式架构,在文档、音视频多模态解析任务上取得开源模型最佳表现。

  26. arXiv · 机器人与计算机视觉85

    WorldFlow:通过大规模预训练实现视频与 3D 运动联合预测

    针对现有视频世界模型隐含 3D 动力学、动作表述绑定特定机器人配置以及 3D 运动预测仅使用流监督信号等局限,该工作提出 WorldFlow,这是一个生成式世界模型,能够联合预测未来视频和基于查询的 3D 轨迹。

    推荐理由:该工作提出统一架构联合预测视频与三维轨迹,在仿真及真实数据上均取得最佳位移误差。

  27. arXiv · 机器人与计算机视觉42

    惯性转向与低附着力表面履带车辆运动预测研究

    针对低附着力表面,该工作提出利用移动质量产生的惯性效应进行转向,而非将其视为需最小化的干扰。动态模型在冰面实验中优于运动学基线,并成功演示了无传统转向机构的单体轨道车通过内部质量控制实现转向。混合动力学 - 运动学模型能根据路面和情境自适应预测,证实了惯性转向作为低附着力环境替代转向机制的可行性。

  28. arXiv · 机器人与计算机视觉72

    RuleForge:推断并实例化潜在视觉规则为可执行程序

    该论文提出了 Bongard-Forge100k 基准数据集和 RuleForge 框架,旨在解决多模态模型从少量示例中恢复抽象概念并进行可靠规则实例化的问题。研究通过联合训练视觉理解与场景编程监督,结合基于执行的强化学习进行优化,在熟悉规则和未见过的规则组合上显著提升了准确率与场景级规则满足率。

  29. arXiv · 机器人与计算机视觉72

    基于价值函数的层级规划与控制:用于非铺装路面自主导航的 MPPI 方法

    该论文提出一种分层规划与控制框架,利用预训练低层强化学习控制器的价值函数作为隐式代价表示来引导高层模型预测路径积分(MPPI)规划器。该方法通过在线策略评估适应分布偏移,在仿真环境中实现了无需显式代价地图的越野导航,相比基线控制器表现出更安全有效的目标到达能力。

  30. arXiv · 机器人与计算机视觉5

    A Multi-Layer Navigation System for Smart Wheelchairs 如何在有限输入接口下实现未知环境导航

    该系统通过虚拟传感器驱动势场法检测障碍物、模型预测控制生成轨迹及开放词汇视觉算法识别目标,并在包含故障输入的实验中验证了鲁棒性。研究在 10 名无残疾参与者参与的实地智能轮椅测试中证明了其在真实环境的可靠性。该成果已提交至 IROS 2026 会议并将在论文集发表。

  31. arXiv · 机器人与计算机视觉72

    SpaceAct:基于闭环动作与主动感知的 3D 时空推理基准

    SpaceAct 是一个交互式基准,旨在解决多模态大语言模型(MLLMs)仅描述图像而非在三维空间解决问题的难题。该基准通过 SAPA(时空主动探测智能体框架),利用互锁积木和机械谜题构建测试环境,包含 108 个已验证实例,涵盖六个类别的 36 个任务家族。

  32. arXiv · 机器人与计算机视觉56

    对齐未对齐基准:单视图新视角合成的改进评估框架

    针对单视图新视角合成性能量化缺乏标准的问题,本文指出现有方法因相机位姿与真值对不齐导致评估处于任意局部最优。作者提出利用传统2D至2D及2D至3D图像匹配技术对齐3D重建结果,并仅在共视区域进行评估以定义正确真值。实验表明,经坐标对齐后,使用显式3D高斯的方法重新达到最先进水平,且无需任务特定训练即可与专用方法媲美。