跳到正文
10月30日周五
  1. arXiv · 机器人与计算机视觉83

    CaC:一种基于层级时空聚焦的视频奖励模型

    论文提出 CaC(Concentrate and Concentrate),这是一种基于视觉语言模型的粗到细粒度异常奖励模型。该模型首先进行全局时间扫描以锚定异常窗口,随后在局部区间内进行精细的空间定位,最后通过结构化的时空思维链推理得出稳健判断。

    推荐理由:提出基于 VLM 的层级时空异常奖励模型 CaC,通过构建首个带细粒度标注的合成视频异常数据集及强化学习训练范式,在基准测试中提升精度并降低生成视频中的异常比例。

  2. arXiv · 机器人与计算机视觉65

    面向自主实验室安全监测的视觉语言模型:通过场景结构学习识别隐患

    针对实验室安全隐患难以实地采集数据的难题,本文构建了一套将文本场景转化为图像、图关系及标注的合成数据生成管线,构建了包含 1207 组四元组的合成数据集。实验表明,现有视觉语言模型在仅凭像素提取结构化物体关系时表现不佳。

  3. arXiv · 机器人与计算机视觉42

    NeuroBridge:基于认知先验的双向语义对齐实现脑电至图像解码

    NeuroBridge 架构通过认知先元增强与共享语义投影器,在零样本检索任务中实现单被试 Top-1 准确率提升 12.3%、Top-5 提升 10.2%,分别达到 63.2% 和 89.9%。该模型在跨被试设置下同样超越现有最先进方法,有效解决了神经表征与视觉内容间的语义失配问题。研究展示了其在脑机接口及人工智能领域的转化潜力,相关代码与数据许可情况需查阅原文。

  4. arXiv · 机器人与计算机视觉75

    字典序下降:通过参数化标量化优化全序规则集的一种基于梯度的方法

    针对安全关键系统需满足冲突约束且通常按优先级排序的问题,现有预emption优化存在次优解风险,而联合优化又难以保持严格优先级。本文提出 Lexicographic Descent 方法,利用随优先级衰减的相对权重实现参数化标量化,在极限处恢复字典序顺序并收敛至高优先级规则的受约束驻点。该方法能利用问题结构达到字典序最优,并在自动驾驶案例研究中优于预emption方法。

  5. arXiv · 机器人与计算机视觉63

    重型卡车交互式高速交通的短时视界模型预测控制学习终端代价

    针对重型卡车在高速公路上自主驾驶的控制挑战,本文提出一种混合模型预测控制(MPC)与强化学习(RL)框架。该框架利用动态规划求解有限视界 MPC,并引入预训练的 RL 模型来估计终端代价,以平衡安全约束与长期决策效率。研究在包含反应性周围交通的仿真环境中进行了评估,结果显示该方法实现了零碰撞且成本最低,优于纯 MPC、基策略 rollout 及纯 RL 方案。

  6. arXiv · 机器人与计算机视觉58

    Coupled Guidance for Flow Matching:一种基于几何视角的流匹配专用引导方法

    论文提出了 Coupled Guidance 框架,通过理论分析指出将扩散模型引导直接迁移至流匹配会破坏训练时的耦合分布导致不稳定。该方法从几何角度利用流匹配的固有结构进行优化,并在 ManiSkill3 机器人避障、Adroit 灵巧操作及图像生成任务中验证了其在提升样本质量与稳定性方面的有效性,且无额外开销。材料已接受于 NeurIPS 2026。

  7. arXiv · 机器人与计算机视觉75

    Event-SAMA:基于神经形态事件流的语言接地视频目标分割

    针对参照视频目标分割(RVOS)缺乏事件流数据的问题,作者构建了 Event-SAMA-239K 合成数据集及 Event-SAMA 模型。该工作将 SAMA-4B 适配至两通道极性 Patch Embedding 与零初始化事件适配器,在 MeViS 验证集上取得 24.37 J&F 分数,建立了首个原生事件流 RVOS 基线(RGB 版本为 55.4)。

  8. arXiv · 机器人与计算机视觉78

    用 JEPAs 证明并改进柏拉图表示假设

    Randall Balestriero 和 Yann LeCun 提出柏拉图表示定理,证明联合嵌入预测架构(JEPAs)在良视条件下学习到的表示收敛于同一空间。

    推荐理由:该工作将多模态对齐猜想转化为定理,证明 JEPAs 在良视条件下收敛于同一表示,并揭示语言模型仅靠规模对齐的机制。

  9. arXiv · 机器人与计算机视觉12

    智能体数量与行为对 VR 疏散训练中用户心理反应的影响研究

    该研究结合灾难虚拟仿真与多智能体情感表达,评估了疏散过程中智能体数量及行为对用户决策的影响。结果显示,伴随更多智能体撤离能提升用户自信度,且智能体选择的路线显著影响用户决策。结论表明 VR 训练需考量周围智能体的集体行为对使用者心理状态的塑造作用。

  10. arXiv · 机器人与计算机视觉33

    SonoWorld4D:通过扩散同步将单目视频转化为可探索的 4D 视听场景

    SonoWorld4D 框架接收单目视频输入,生成包含动态物体运动轨迹与物理一致声场的 360 度静态背景及 4D 场景。该方法利用双空间音频扩散同步技术,实现了实时新视角视觉与空间音频渲染。真实世界动态场景评估与用户研究表明,生成的视听场景在几何与内容上具备感知真实的物理基础。

  11. arXiv · 机器人与计算机视觉82

    Fight World Model:支持自定义战斗规则的可视化交互代理世界模型

    Fight World Model 是一种可编程的游戏世界模型,通过将规则驱动的战斗执行与视频渲染分离,利用确定性编译器生成空间时间对齐的交互代理,实现了伤害缩放、免伤机制及角色场景定制等功能。该模型在 FightWorld Corpus 上训练,无需重训渲染器即可支持多种技能机制,并在动作保真度、打击反应一致性和外观保持方面优于现有游戏世界模型。项目代码与资源可通过提供的链接获取。

    推荐理由:该报告提出 Fight World Model,通过分离规则执行与渲染及引入交互代理,解决了现有视频世界模型在战斗状态一致性与可定制性上的不足。

  12. arXiv · 机器人与计算机视觉82

    连续动作世界模型:学习跨本体时空动力学先验

    arXiv 发布论文介绍连续动作世界模型(CoAWM)框架,旨在支持跨机器人本体的动作生成与执行频率适配。核心是共享潜在函数空间,通过两阶段学习:首先利用不同本体和采样频率的轨迹进行预训练以获取共享动力学先验;随后连接世界模型骨干网络,使观测、语言指令和当前状态能条件化地预测潜在动作函数。

    推荐理由:该预印本提出 CoAWM 框架,通过共享潜在函数空间实现跨机器人本体与控制频率的动作生成迁移。

  13. arXiv · 机器人与计算机视觉78

    HiFOR:面向视觉语言动作模型的动作引导分层前瞻与世界对齐研究

    该论文针对现有方法将短期动态与长期任务目标割裂、且未充分考虑预测未来与当前动作需求相关性的问题,提出了 HiFOR 框架。该方法通过层级依赖掩码联合预测短期状态演化、语义里程碑及最终目标状态;利用结构感知隐式世界建模沿时间、视角和空间维度组织未来潜在表示以支持细粒度检索;并在去噪过程中基于演化的动作表示自适应检索相关信息以指导动作生成。实验在两个仿真基准和六个真实机器人操作任务上验证了有效性。

    推荐理由:提出分层前瞻框架,通过层级依赖掩码统一预测短期状态与长期目标,并结合结构感知隐式世界建模实现动作引导的未来信息检索。

  14. arXiv · 机器人与计算机视觉45

    EpiCoach:基于可穿戴数据的个体化生理代理贝叶斯实验设计系统发布

    EpiCoach 系统将一名越野山地车运动员作为可审计的 N-of-1 科学主体,利用心率、GPS 及气压数据构建机械式数字孪生以预测未来表现。系统在十八个月数据上评估显示,滚动原点回放基准中该孪生模型在预测心率方面优于标准预报器但未能超越分段时间预测;实时前瞻阶段前三周账本封存 20 个预测并评分 14 个,安全官否决了两次建议。

  15. arXiv · 机器人与计算机视觉78

    Wizard:通过智能体控制实时操控任意世界

    arXiv 论文介绍 Wizard,一种支持实时、精准控制角色动作并能在未见场景与角色上零样本泛化的智能体游戏世界模型。作者构建了包含 750 个场景和 178 个人物的数据集,利用骨架与几何信息作为结构化代理条件视频生成模型,并结合自适应掩码机制优化对齐。该框架显式维护游戏状态,允许玩家自由配置虚拟世界并精细控制角色动作,同时保持视觉质量与玩法一致性。

    推荐理由:该工作提出 Wizard 框架,通过结构化代理与智能体控制实现角色动作的实时精确操控及跨场景零样本泛化。

  16. arXiv · 机器人与计算机视觉74

    RFW-A:基于智能体的程序化生成方法构建40万+可动资产库

    针对高质量可动资产(articulated assets)构建困难的问题,本文提出 RFW-A 框架,结合智能体合成与程序化生成的优势。该方法将类别内共享的构造逻辑组织为可复用生成器,经智能体测试验证后,通过纯程序执行批量生产多样化资产,无需额外模型调用或 Token 费用。实验表明,基于该库训练的模型在未见类别上具备高结构/运动学有效性,且仿真策略能零样本迁移至真实物体。

  17. arXiv · 机器人与计算机视觉58

    Video Generation Meets Agent Harness:代理视频生成、代理世界建模与递归自我改进

    该论文提出 Agent Harness 作为可执行运行时环境,用于构建上下文、暴露工具并管理状态以协调视频模型。报告重点探讨了三大方向:一是代理视频生成,涵盖脚本编写、镜头规划及编辑的评估挑战;二是代理世界建模,利用游戏引擎或程序维护世界状态,结合视频模型渲染观测,实现双向评价与改进;三是递归自我改进(RSI),区分输出修订、参数更新及改进流程本身的迭代。

  18. arXiv · 机器人与计算机视觉78

    SelfThinker:基于可靠性验证的内生视觉思维的自我进化推理

    SelfThinker 是首个无需人工图像标注即可将统一模型生成的视觉思维转化为更强理解力的自进化框架。该方法通过采样候选辅助图像并利用冻结的理解路径进行评分,利用高效用思维通过流匹配优化生成器并作为策略蒸馏的私有教师上下文。

    推荐理由:提出首个无需人工标注的自进化框架,利用生成路径辅助理解并提升多模态模型的视觉推理能力。

  19. arXiv · 机器人与计算机视觉82

    RoboSeed:VLA 与世界动作模型的多维评估框架

    论文提出 RoboSeed 框架,旨在解决机器人动作模型选型中仅看成功率信息不足的问题。该框架从能力、下游训练成本、部署成本、本地验证研究价值及复现证据五个维度,利用固定归一化锚点将实证测量映射为 0-100 分档画像。

    推荐理由:提出 RoboSeed 多维评估框架,从能力、资源成本及复现证据等维度量化 VLA 与 WAM 模型,为不同预算团队提供选型依据。

  20. arXiv · 机器人与计算机视觉75

    VLA 应如何信任其推理?基于测量动作价值的步骤级引导

    论文提出 CoC-CFG 与 Q-adaptive guidance 方法,通过调节分类器自由引导的权重来平衡 VLA 策略中推理痕迹对动作生成的影响。该方法将权重选择建模为马尔可夫决策过程,利用专家冻结和固定噪声精确测量各步骤的动作价值,并拟合小批评网络进行保守优化。

  21. arXiv · 机器人与计算机视觉50

    PASA-KV:针对世界动作模型中面向动作的视觉路由的攻击方法

    论文提出了一种名为 PASA-KV 的方法,旨在攻击世界动作模型(WAMs)内部表示与动作生成之间的脆弱性。研究发现,仅凭表示空间的扰动幅度无法可靠预测闭环控制失败,关键在于扰动如何被路由到动作生成环节。该方法通过 Tail-AV 信号识别易受攻击的路由,并选择面向动作的键值对目标进行训练。实验在多个 WAM 系统及物理机器人上验证了该方法的闭环攻击效果及系统间的抗扰差异。

  22. arXiv · 机器人与计算机视觉82

    GROME:将因子化记忆引入视频世界模型

    针对视频世界模型在长视界一致性上的挑战,本文提出了 GROME 框架。该框架通过静态 - 动态因子化解耦历史证据、局部记忆检索消除几何漂移以及无需训练的内存注入机制,在不修改冻结主干网络的前提下显著提升了场景持久性与动态实体保真度。实验表明,GROME 能兼容外部观测作为即插即用记忆,支持灵活的视频续写与场景探索。

    推荐理由:提出无需额外训练的因子化记忆框架,解决视频世界模型在长视界场景下的几何漂移与动态实体保真度问题。

  23. arXiv · 机器人与计算机视觉70

    Teaching a Tree to Recover:通过反事实回放在线蒸馏 LLM 监督器

    针对自主移动机器人在复杂布局中因非凸避障和有限视域导致局部模型预测控制器(MPC)冻结的问题,研究提出将大型语言模型(LLM)监督器在线蒸馏为决策树的方法。该方法在每次训练集后利用反事实回放对恢复、不必要或有害的决策进行标记并淘汰无效规则。

  24. arXiv · 机器人与计算机视觉48

    WorldProbe:视频世界模型在长视界空间探索下的失效诊断基准

    WorldProbe 是一个利用目标条件多模态智能体在线调整相机动作的诊断基准,包含 164 个测试用例。该基准对 10 种先进模型生成了超 1,600 次 rollout(总时长约 800 分钟、视界最长 180 秒),揭示了局部生成稳定但长程记忆与演化薄弱的差距。代码与基准资源已公开,旨在弥补现有评测忽视的持久世界一致性缺陷。

  25. arXiv · 机器人与计算机视觉35

    Foundation Model Assurance Stack:神经符号架构与运行时保障的测试验证议程

    针对学习使能的 cyber-physical systems(CPS)缺乏系统级保证的问题,研究提出 Foundation Model Assurance Stack,通过神经符号架构、语义化形式化测试及组件化运行时监控约束基础模型。该方案在 arXiv 预印本中明确划分随机学习与形式推理的边界,旨在建立可认证且可部署的信任体系,涵盖从规范工程到生命周期认证的完整议程。

  26. arXiv · 机器人与计算机视觉68

    PRIME W0:基于世界模型的具身操作物理先验框架发布

    PRIME W0 是一个分层条件流匹配框架,旨在解决 VLA 模型仅依赖当前观测而忽略长时序上下文与层级结构的问题。该工作通过三层设计实现突破:一是将预训练 VLM 的每层 KV 注入到自适应 MoE 动作专家;二是利用异步世界模型子目标图像预测及 DINOv2 历史帧语义桥进行动力学感知条件化;三是采用尊重机器人运动学耦合的动作动态流形(ADM)流匹配与协方差结构噪声。

  27. arXiv · 机器人与计算机视觉52

    基于累积点场景补全的鲁棒 LIDAR 传感器到传感器域泛化

    论文研究 LIDAR 语义分割的域泛化问题,提出一种仅用源域数据训练的框架,引入占用预测作为辅助目标以替代单帧扫描的标准监督信号。该方法不改变输入扫描格式,在部署时无推理开销,且能在无目标数据和标签的情况下显著提升对未见传感器的性能。

  28. arXiv · 机器人与计算机视觉74

    CAD-WAM:面向文本生成 CAD 的几何预判方法

    针对从文本生成可编辑计算机辅助设计(CAD)模型时操作选择困难的问题,该研究提出 CAD-WAM 框架,将几何条件动作生成与下一状态预测相结合。该方法利用预训练变分自编码器将中间实体的表面点云编码为紧凑的潜在状态,由大语言模型骨干网络根据目标描述和当前几何状态生成下一步动作,同时通过辅助头预测下一状态以提供几何监督。

  29. arXiv · 机器人与计算机视觉85

    WorldFlow:通过大规模预训练实现视频与 3D 运动联合预测

    针对现有视频世界模型隐含 3D 动力学、动作表述绑定特定机器人配置以及 3D 运动预测仅使用流监督信号等局限,该工作提出 WorldFlow,这是一个生成式世界模型,能够联合预测未来视频和基于查询的 3D 轨迹。

    推荐理由:该工作提出统一架构联合预测视频与三维轨迹,在仿真及真实数据上均取得最佳位移误差。

  30. arXiv · 机器人与计算机视觉82

    Seeing and Imagining as One:GenSight 统一视频生成与 4D 感知用于具身世界建模

    论文提出了 GenSight,这是一个统一的具身世界模型,将未来视频生成和稠密感知整合进同一个预训练视频扩散 Transformer 中。该模型使用统一的时空表示处理视频、深度、具身分割和首帧相对 2D 光流,基于共享 DiT 骨干网络并通过轻量级任务调制在同一架构内预测所有模态。

    推荐理由:该工作提出将视频生成与稠密感知统一于单一架构,为具身世界建模提供了新的跨模态一致性思路。

  31. arXiv · 机器人与计算机视觉80

    EgoContact:基于第一人称视频的物理智能评估基准

    论文发布了 EgoContact 数据集,包含 2.25 万条人工校验的交互事件,每条数据均标注预接触观测、语义意图及像素级精确接触位置。研究指出当前方法在预测精确交互接触点及复杂场景目标定位上存在不足。实验表明,将 EgoContact 作为现有策略的记忆库可显著提升性能:仿真环境下抓取成功率从 14.2% 提升至 31.2%,真实机器人上从 16% 提升至 58%。

    推荐理由:该工作构建了首个以未来接触点预测为核心的大规模第一人称数据集,并验证了其在提升仿真与真实机器人抓取成功率上的显著效果。

  32. arXiv · 机器人与计算机视觉82

    Tactus:一款用于自然灵巧性数据收集的触觉与姿态感知手套

    Tactus 是一款集成纺织传感的手套,通过薄型化设计、电容式触觉传感器和 IMU 融合姿态追踪,解决了指尖力觉测量与手部遮挡下的姿态跟踪难题。材料给出了最小可探测力为 0.59 N(置信度 95%),跨参与者一致性达 0.87,并在重度遮挡下保持 11.0 mm 的指尖关键点相对误差。

    推荐理由:原文给出了触觉手套的硬件指标与跨平台基准评测结果,相关团队可据此评估其是否适合现有数据采集流程。

  33. arXiv · 机器人与计算机视觉54

    通过元学习语义适应实现开放世界的物体运动预判

    针对机器人导航中需应对未知物体及其相互影响(如叉车搬运托盘)的挑战,本文提出一种基于元学习的图神经网络方法。该方法利用物体的语义、几何及关系历史,仅需少量在线观察即可准确预测新环境中物体的启动时机。实验表明,该模型仅在仿真中训练,无需微调即可成功迁移至硬件,在仿真和硬件实验中均优于视觉语言模型及类别频率基线,并能支持闭环导航中的无碰撞穿越。

  34. arXiv · 机器人与计算机视觉72

    RuleForge:推断并实例化潜在视觉规则为可执行程序

    该论文提出了 Bongard-Forge100k 基准数据集和 RuleForge 框架,旨在解决多模态模型从少量示例中恢复抽象概念并进行可靠规则实例化的问题。研究通过联合训练视觉理解与场景编程监督,结合基于执行的强化学习进行优化,在熟悉规则和未见过的规则组合上显著提升了准确率与场景级规则满足率。

  35. arXiv · 机器人与计算机视觉72

    基于价值函数的层级规划与控制:用于非铺装路面自主导航的 MPPI 方法

    该论文提出一种分层规划与控制框架,利用预训练低层强化学习控制器的价值函数作为隐式代价表示来引导高层模型预测路径积分(MPPI)规划器。该方法通过在线策略评估适应分布偏移,在仿真环境中实现了无需显式代价地图的越野导航,相比基线控制器表现出更安全有效的目标到达能力。