跳到正文
11月17日周二
  1. arXiv · 机器人与计算机视觉82

    DSSP:具备全历史编码的扩散状态空间策略

    针对现有机器人模仿学习策略仅依赖当前或短时观测、难以解决长时程任务中历史依赖性模糊的问题,本文提出 DSSP 方法。该方法利用状态空间模型(SSM)的连续序列建模特性构建历史编码器,将完整观测流压缩为紧凑上下文表示,并通过动力学感知辅助目标优化以保留未来状态演化关键信息。

    推荐理由:提出全历史编码的扩散状态空间策略,在仿真与真实操作中实现更小模型尺寸下的最先进性能。

  2. arXiv · 机器人与计算机视觉37

    LLM-Flax:LLM 生成规则与物体引导用于神经符号任务规划

    LLM-Flax 利用大语言模型为 Flax 规划流水线自动生成规则、处理故障并评分物体,在 MazeNamo 等八个设置下使平均成功率提升约三个百分点。该研究通过离线生成与运行时引导验证了可复用规则的效能,同时指出信息质量与推理效率是主要挑战。论文已提交至 arXiv(编号 2604.26569),代码与权重暂未提及开放许可。

  3. arXiv · 机器人与计算机视觉65

    NestRL:一种用于人机协作相互适应的嵌套训练机制

    针对人机协作中人类策略随 AI 行为动态调整的挑战,本文提出 NestRL 方法,将任务建模为交互式部分可观测马尔可夫决策过程(I-POMDP)。该方法通过在各级别对自适应智能体进行联合训练,使智能体学习有限层级 I-POMDP 的解,从而避免收敛于仅适用于特定搭档的不透明协调策略。

  4. arXiv · 机器人与计算机视觉65

    Cross-Modal Attention Guided Unlearning in Vision-Language Models

    针对视觉语言模型在推理时可能复述敏感信息的问题,本文提出了 Cross-Modal Attention Guided Unlearning (CAGUL) 框架。该方法利用跨模态注意力机制识别低重要性的视觉 token,通过外部模块编码遗忘指令以阻断隐私泄露,同时保持模型的参考行为与效用,且无需修改预训练参数。

  5. arXiv · 机器人与计算机视觉78

    UNITE:基于共享锚点一比特分解的具身 VLM 专家整合框架

    论文提出 UNITE 框架,通过共享锚点一比特分解技术将多个具身视觉语言模型(VLM)专家整合为紧凑的混合专家模型。该方法在保持各专家前馈块路由能力的同时,仅用不到 0.6M 参数完成微调,显著降低存储占用。实验显示该模型在导航与三维场景理解基准上优于单一专家及多种静态合并方法,且相对于未压缩 MoE 几乎无损。

    推荐理由:提出 UNITE 框架,通过共享锚点一比特分解将多个具身 VLM 专家整合为紧凑混合专家模型,在保持存储效率的同时提升导航与场景理解能力。

  6. arXiv · 机器人与计算机视觉83

    Bring Back Language to Actions:通过参数合并恢复 VLA 模型中的 VLM 能力

    Vision-Language-Action (VLA) 模型在微调后常出现灾难性遗忘,导致原有视觉与语义理解能力下降。本文提出一种无需重训的参数合并方法,提取任务向量并通过奇异值分解控制保留的适应程度,实验表明该方法能同时保持动作预测和视觉语言能力,且表现优于现有基线。

    推荐理由:提出通过奇异值分解合并 VLM 与 VLA 参数,在不重训情况下恢复视觉语言能力并优于现有基线。

  7. arXiv · 机器人与计算机视觉74

    Video-as-Experience:通过音视频理解学习电脑操作

    现有方法多将视频转为截图轨迹,未直接利用丰富信息。本文提出 VEX 框架,基于 watch-act-rewatch 范式从教程视频中提取指导并自我验证。实例化模型 video-SALMONN-VEX 在 OSWorld 上任务成功率相对提升 22%,其生成的指导使 Gemini-3.5-flash 性能相对提升 10%。

  8. arXiv · 机器人与计算机视觉48

    ECOD:经验校准的在线策略蒸馏提升多轮智能体长程任务成功率

    ECOD 通过在校准教师与学生在匹配条件下的成功概率后验,将监督分配至任务、轨迹及回合层级,仅对失败学生轨迹施加直接监督。该方法在 ALFWorld 和 WebShop 基准上,配合 Qwen2.5-1.5B-Instruct 与 Qwen2.5-7B-Instruct 模型,使未见任务成功率相对提升最高达 4.06%,平均配对相对增益分别为 6.20% 和 7.05%。

  9. arXiv · 机器人与计算机视觉80

    ScaleVLA:将视觉语言动作模型扩展至 5520 亿参数

    该研究提出 ScaleVLA,通过将 552B 参数的 DeepSeek-V4.1-Flash 骨干连接可训练的动作 DiT,系统对比了从 2B 到 552B 不同规模 VLM 在机器人基础模型中的表现。

    推荐理由:该报告系统验证了将前沿大模型作为 VLA 骨干的可行性,展示了在样本效率、泛化能力及灵巧操作上的显著优势。

  10. arXiv · 机器人与计算机视觉69

    VLM 如何规划下一步:基于 Qwen3-VL 的视觉检索任务因果分析

    该论文研究了视觉语言模型(VLM)在描述图像时决定观察顺序的内部规划机制,将其分解为绑定头、进度信号生成、选择步骤和注视头四个部分。研究通过在 Qwen3-VL 模型上进行合成视觉检索任务的因果修补验证了各组件的有效性,并证实该机制在不同输入格式、自然照片及语言中均成立,且存在于从 2B 到 32B 的所有模型规模中。

  11. arXiv · 机器人与计算机视觉76

    Seen but Unsaid:定位并修复视觉语言模型中的跨图像比较问题

    论文指出视觉语言模型在跨图像匹配点或物体时常失败,即便答案隐含在隐藏状态中。研究在 Qwen3-VL、InternVL3.5 和 Gemma-3 等模型上验证了两种失效机制:一是携带比较信息的注意力头未将答案读出,二是语义对应存在于视觉 token 但未传递至输出层。

    推荐理由:研究发现跨图像比较失败源于特定注意力头未读出答案,通过重分布注意力或微调查询键投影即可修复。

  12. arXiv · 机器人与计算机视觉46

    DuoFlow:实现细粒度控制的同步语音与动作生成

    DuoFlow 是一种双流潜在流 Transformer,通过共享噪声水平和统一秒级时间坐标联合去噪语音与动作。该模型利用模态特定残差连接器注入结构化条件,并采用逐层双向跨模态注意力协调生成,同时结合单调音素路径强化时序建模。研究构建了 MotionSpeech 基准以支持对运动层级、身体部位及发声风格的显式控制,实现了高质量且指令一致的同步序列合成。

  13. arXiv · 机器人与计算机视觉78

    ReuseMem:单一记忆应对多目标的机器人操作任务

    论文提出 ReuseMem 方法,旨在让协作机器人利用已观察到的视觉经验来支持新的操作请求,即使这些具体用途在观察时未知。该方法独立记录视觉特征,检索互补证据并结合当前场景,通过轻量级动作接口实现复用。实验涵盖四个仿真任务和两个物理场景,结果显示该方法在基准任务上的联合目标完成率比均匀记忆策略提升 24.5 个百分点。

    推荐理由:该工作提出一种通用视觉记忆机制,支持同一记忆服务于多种后续操作目标。

  14. arXiv · 机器人与计算机视觉68

    LightAct:基于经验学习的视觉世界行动策略框架

    论文提出了 LightAct 框架,旨在将交互经验转化为个体决策的引导,解决轨迹结果模糊与无指导探索重复的问题。该方法将交互片段总结为经验条目并整合为特定游戏的技能,利用共享冻结策略对候选动作进行短步长回滚比较,基于环境报告的平均得分增益生成相对动作奖励作为强化学习监督。

  15. arXiv · 机器人与计算机视觉78

    POKE:一种用于 VLA 模型的离线探测与高效剪枝方法

    针对视觉语言动作(VLA)模型推理成本高且注意力分数无法直接衡量 token 对动作影响的问题,该方法定义动作敏感度并解决在线评分导致的剪枝图锁定偏差。通过离线计算全图敏感度并蒸馏至不足 30 万参数的学生模型,在推理时无需反向传播即可进行评分引导的多样性选择。

    推荐理由:POKE 方法离线计算全图动作敏感度并蒸馏至小参数学生模型,在 LIBERO 等基准上实现高效剪枝与高成功率。

  16. arXiv · 机器人与计算机视觉42

    EviBridge:编码预测视觉证据以支持主动交互

    EviBridge 框架将冻结的 V-JEPA 2 编码器特征映射至语言解码器,用于工具交接任务中的状态与工具联合预测。在 FuGIBench 基准测试中,最佳变体整体得分达 0.6448 和 0.5892,显著优于各自的任务自适应原生基线(0.2178 和 0.5327)。该成果涵盖目标交接、长时间等待及取消请求场景,验证了预测视觉证据对交互决策的价值。

  17. arXiv · 机器人与计算机视觉58

    LeaP-VLN:面向长视野视觉语言导航的闭环代理规划与进度增强执行

    针对长视野视觉语言导航中指令追踪困难及执行器在部署时遭遇策略诱导的状态偏移问题,本文提出 LeaP-VLN 系统。该系统耦合进度感知执行与独立进度验证,通过计划 - 执行 - 验证 - 恢复的闭环机制处理子任务完成确认与路线偏离后的双阶段恢复。

  18. arXiv · 机器人与计算机视觉53

    通过微调视觉语言动作模型实现合规自动驾驶:引入符号交通规则反馈

    本文提出一种规则引导的 VLA 框架,将英国公路守则的部分条款形式化为可执行的一阶逻辑规则,结合专家演示监督微调和强化学习优化策略。在 CARLA 仿真器离线评估中,该方法相比仅基于监督学习的基线,显著提升了动作预测准确性和编码规则的合规率,最佳变体将整体规则通过率从 92.9% 提升至 97.6%,且在评估样本中未观察到违反路权优先级检查的情况。

  19. arXiv · 机器人与计算机视觉74

    行动前的指令:驾驶视觉 - 语言 - 动作数据的前瞻与回顾性语言监督研究

    该论文研究了驾驶视觉 - 语言 - 动作(VLA)模型中导航指令的收集与评估方法,区分了行动前发出的前瞻性指令和行动后标注的回顾性标签。作者开发了 ADVLAT-Engine 同步语音指令、道路场景视频和车辆轨迹,并在 48 条回放路线上对比了三款导航应用。

  20. arXiv · 机器人与计算机视觉42

    Vision-Language Grounded Semantic Navigation for Autonomous Mobile Robots 系统演示

    该系统基于 ROS2 架构,结合 Grounding DINO 与 Nav2 栈,在 Gazebo 仿真环境中实现了无需特定训练的端到端语义导航。实验显示 TurtleBot3 机器人成功执行了全部测试的自然语言指令并探测到五个目标中的三个,但性能受限于检测不确定性与深度定位误差。研究证实轻量级 CPU 架构具备可行性,同时揭示了开放词汇感知与传统导航管线集成的当前局限。

  21. arXiv · 机器人与计算机视觉56

    Lift, See, Act:基于 3D 基础模型的机器人策略分层预训练

    针对人类视频数据缺乏显式动作相关表征的挑战,本文提出 LSA 分层预训练框架。该方法通过 Lift 阶段将 2D 观测自适应对齐至 3D 基础模型中间表征以获取稠密表示;See 阶段引入深度图重建与手部区域提示以增强几何感知与交互热点关注;Act 阶段实现鲁棒的机器人操作。

  22. arXiv · 机器人与计算机视觉68

    超越看见:缓解视觉语言模型幻觉的细粒度偏好验证与严重性感知对齐

    该论文研究了针对视觉语言模型的幻觉缓解对齐流程,利用 16,143 条归一化反馈记录和 8,386 对偏好数据进行实验。研究对比了直接训练、零样本及两样本判定的严重性间隔变体,结果显示零样本变体将 Object HalBench CHAIRs 从 53.00 降至 36.00,AMBER-Hal 分数显著下降且视觉覆盖减少,同时基模型保留了最高的有效 POPE 对抗 F1 值。

  23. arXiv · 机器人与计算机视觉59

    基于随机自蒸馏的流式视觉语言动作模型研究

    针对流式视觉语言动作(VLA)模型在使用同策略强化学习时存在的推理延迟高和采样随机性低的问题,本文提出 VLA-SSD 方法。该方法通过布朗路径条件单跳生成器,将预训练的流匹配动作头蒸馏为随机一步策略,并推导条件动作密度以支持基于似然比的后训练算法。

  24. arXiv · 机器人与计算机视觉84

    NF-VLA:一种用于视觉语言动作学习的归一化流基线方法

    论文提出了 NF-VLA 模型,结合条件自回归归一化流与基于分数的动作细化技术,利用单一学习到的密度支持策略训练、动作生成及修正。该模型在 LIBERO 基准的四个标准套件上达到 98.35% 成功率,在 LIBERO-Plus 上达到 72.6%,且无需机器人预训练或额外微调。

    推荐理由:该工作提出基于自回归归一化流的 VLA 基线模型,在 LIBERO 基准上实现高成功率且无需额外微调。

  25. arXiv · 机器人与计算机视觉42

    OntoCBF:本体编译控制屏障函数解决异构机器人团队安全冲突

    OntoCBF 将领域本体与动力学特征编译为单智能体二次规划的安全滤波器,利用描述逻辑在线推导约束以覆盖新类。仿真显示,面对未见类别时传统滤波器违反安全率达 89-100%,而 OntoCBF 在含 32 机器人场景中仅违反 20-70%。结合多智能体 PPO 策略后,不可行二次规划率降低 18-41%,且所有违规均源于冲突而非能力高估。

  26. arXiv · 机器人与计算机视觉74

    Right Goal, Wrong Body: Re-grounding Frozen VLAs under Actuation Shift

    论文提出 ReGround 方法,旨在解决视觉语言动作(VLA)模型在部署后因执行器变化(如重新安装、机械磨损或指令延迟改变)而失效的问题。该方法保持 VLA 冻结,通过任务无关的电机 babbling 学习部署机器人的动力学,并在检测到偏移时追踪策略意图运动以重校准。

  27. arXiv · 机器人与计算机视觉73

    RoboKit:加速机器人学习的并行可微分优化工具包

    论文介绍 RoboKit,这是一个基于 GPU 并行多种子求解器的高性能通用工具包,旨在加速机器人学习中的并行可微分优化。材料指出其在七个任务上比特定任务基线快 2-60 倍,利用混合表示法在 2.97 秒内优化了 4096 次抓取,并将优化成本转化为策略蒸馏和强化学习的训练优势,使蒸馏策略精度相当时速度快 9-240 倍。