跳到正文
10月9日周五
  1. arXiv · 机器人与计算机视觉70

    HIL-UMI:将视觉语言动作模型的类人环后训练引入通用操作接口

    论文介绍 HIL-UMI 框架,实现无需实体机器人部署的策略引导型人类在环视觉语言动作模型后训练。该方法通过手持演示查询当前策略而不执行预测,利用能量分数检测分布外区域并触发数据收集,同时基于优势估计器优化行为克隆。实验显示其在长程与精细操作任务上优于监督微调及 HG-DAgger 方法,且每帧采集时间更低。

  2. arXiv · 机器人与计算机视觉83

    LM-X:通过进度、事件和不确定性预测的可解释视觉 - 语言 - 动作建模

    论文介绍 LM-X,这是一个将可解释状态(任务进度、下一语义事件、局部指令可靠性)联合预训练到控制策略中的 VLA 基础模型。研究基于生物感觉运动组织原理,在超过 20,000 小时的异构真实机器人轨迹上进行预训练,包含逾 1,000 小时失败演示。

    推荐理由:该工作提出将任务进度、事件预测与不确定性估计联合预训练到 VLA 模型中,旨在解决黑盒控制问题并提升长程任务可靠性。

  3. arXiv · 机器人与计算机视觉67

    RA-VLA:一种用于测试时适应的检索增强型视觉语言动作模型

    针对现有 VLA 模型在面对新型任务分布时表现脆弱的问题,本文提出 RA-VLA 框架,通过整合行为对齐的上下文检索与落地执行流程,解决因浅层检索机制和行为惯性导致的适应瓶颈。实验在 LIBERO 基准测试及真实 UR5e 机器人环境中进行,结果显示该框架在免训练条件下实现了更优的任务成功率与计算效率,为机器人免训练适应提供了稳健方案。

  4. arXiv · 机器人与计算机视觉72

    推理链作为视觉语言动作策略的控制表面:修复与腐蚀效应的量化评估

    该研究在 LIBERO 仿真环境中对 DeepThinkVLA 模型进行了反事实干预实验,验证了将推理链作为控制表面的有效性。当推理链被错误指令污染时,用正确生成的推理链替换可恢复 47.8% 的成功率;而若推理链仅复述视觉信息则无影响。实验证实文本编辑能直接修正或破坏机器人行为,为部署时的接口暴露决策提供了量化依据。

  5. arXiv · 机器人与计算机视觉78

    ActionCodec:面向 VLA 优化的动作分词器设计原则与新模型发布

    论文针对现有动作分词器仅关注重建保真度而忽视 VLA 优化的问题,提出最大化时间重叠、最小化词汇冗余等四大设计原则,并据此推出 ActionCodec。在 LIBERO 基准上,基于 SmolVLM2-2.2B 微调的模型在无机器人预训练下达到 95.5% 成功率,架构增强后提升至 97.4%,刷新无预训练 VLA 模型 SOTA。

    推荐理由:提出从 VLA 优化视角的 ActionCodec,在 LIBERO 基准上实现无预训练新 SOTA。

  6. arXiv · 机器人与计算机视觉83

    Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning

    针对非马尔可夫环境中策略需处理长视界上下文信息的难题,本文提出 Keyframe Mnemonics 自监督方法,通过随机采样过去观测学习目标以发现关键信息观测(mnemonics)作为奖励进行关键帧选择。

    推荐理由:提出自监督关键帧发现方法,解决非马尔可夫环境下的行为克隆长视界依赖问题。

  7. arXiv · 机器人与计算机视觉36

    ContourVLA:一种用于广义指代分割的闭环感知 - 动作轮廓策略

    ContourVLA 将广义指代分割重构为闭环视觉运动过程,利用可编辑轮廓作为显式策略状态以条件化多模态感知并更新几何动作。该方法在 gRefCOCO 验证集及测试集上将 gIoU 分别提升 8.7、2.8 和 2.7 个点,并在所有八个 RefCOCO 系列分割子集中实现最高 mIoU。

  8. arXiv · 机器人与计算机视觉65

    PathTime-VLA:基于路径 - 时间解耦的视觉语言动作策略后训练方法

    针对传统视觉语言动作模型在固定时间间隔预测动作导致路径与执行速度耦合的问题,本文提出 PathTime-VLA 框架。该方法将运动表示为进度索引的交互路径与单调时间律,支持分阶段后训练:利用演示和 DAgger 建立目标域先验,通过 Speed-DQN 学习执行乘数,并利用 Path-AWR 优化扩散路径生成器。

  9. arXiv · 机器人与计算机视觉73

    WARP-VLA:面向视觉语言动作模型的腕部相机视角鲁棒性策略执行研究

    针对视觉语言动作模型(VLA)在腕部相机配置变化下性能敏感的问题,论文提出 WARP-VLA 架构,利用专家混合结构学习特定视角的特征变换,无需额外输入相机外参即可实现部署。实验显示该方法将 LIBERO 基准上的平均成功率从 39.2% 提升至 78.3%,且仿真学到的特征级适应能成功迁移到真实机器人部署场景。作者开源了腕部视角鲁棒性基准及即插即用实现,以促进复现与后续研究。

  10. arXiv · 机器人与计算机视觉35

    ACT³:一种融合语义与动力学信息的动作中心三流 Transformer

    ACT³是一种简单的动作中心三流 Transformer,通过逐层注意力机制将视觉语言模型(VLM)和世界模型(WM)表征融合进控制动作。该架构在保持上下文流独立前向传播的同时,允许两个骨干网络均通过控制监督进行更新。仿真与真实世界机器人操作基准实验表明,ACT³的表现优于其同类方法。

  11. arXiv · 机器人与计算机视觉45

    iAm.md:通过智能体内省实现未知开放词汇域的技能自我评估框架

    iAm.md 是一个基于大语言模型泛化能力的 Markdown 标准与生成框架,旨在解决具身智能中的“接地失败”问题。该框架利用开放词汇语义映射结合视觉 - 语言检测与对象分割,将机器人行为生成功能转化为代码生成问题以支持技能自我评估。研究在模拟 TIAGo 平台上针对导航与操作任务验证了该技术对可执行任务泛化的支撑作用。

  12. arXiv · 机器人与计算机视觉42

    Skill-SLM:基于智能体技能的微型语言模型实现可靠机器人操作

    针对现有蒸馏方法依赖枚举任务解耦对、难以泛化的问题,Skill-SLM 框架将机器人操作重构为任务分解与技能组合。该方法利用无上下文语法提取技能库,并通过大模型教师合成训练数据以支持 UAV 及地面车辆等多平台可靠执行。实验表明,该框架在未见任务上的表现显著优于蒸馏基线,且代码与权重开放许可状态待定。

10月8日周四
  1. arXiv · 机器人与计算机视觉82

    失败边界学习:面向鲁棒的视觉语言动作模型研究

    论文指出监督微调后的视觉语言动作模型存在结构不对称问题,即缺乏关于成功行为失效边界的信号。为此提出 DLS 方法,基于少量真实演示与仿真协同训练构建真实接地行为先验,通过数字孪生在线策略 rollout 发现失败边界。

    推荐理由:提出 DLS 方法,利用数字孪生与语义进度信号发现并塑造失败边界,提升 VLA 模型在随机初始状态下的鲁棒性。

  2. arXiv · 机器人与计算机视觉70

    RoboFAC:机器人故障分析与修正综合框架

    针对现有视觉语言动作模型缺乏故障诊断与恢复监督的局限,本文提出 RoboFAC 框架并构建包含 9,440 条错误轨迹和 78,623 个问答对的大规模失败数据集。开发的多模态轻量模型在任务理解、故障分析与修正上表现优异,故障分析准确率比 GPT-4o 高 34.1%,作为外部监督器集成后四项任务相对提升 29.1% 且延迟更低。模型与数据已公开。

  3. arXiv · 机器人与计算机视觉43

    SQAM:一种结合标量伴随匹配与价值惩罚的强化学习算法,在 OGBench 四个最难领域成功率提升 18-35 个百分点,并在真实双臂机器人上优于监督微调

    SQAM 通过利用预训练流策略雅可比矩阵对角化特性,以闭式标量伴随替代逐步向量 - 雅可比积,显著降低计算成本。该方法结合动作处的价值惩罚,在 OGBench 四个最难领域成功率较最强基线提升 18 至 35 个百分点。实验还验证了其在真实双臂机器人上的有效性,SQAM 在所有三项任务上均优于监督微调结果。

  4. arXiv · 机器人与计算机视觉84

    行动前先改写:表征与缓解视觉语言动作模型的语意敏感性

    视觉语言动作模型(VLAs)对指令措辞高度敏感,单字修改即可导致成功率大幅波动。研究通过统计测试和 oracle 短语搜索发现,仅凭措辞调整可缩小分布内与分布外任务间的性能差距。

    推荐理由:原文揭示了 VLA 对指令措辞的高度敏感性,并提出无需重训的改写规则蒸馏方法,可显著提升模型在分布外任务上的成功率。

  5. arXiv · 机器人与计算机视觉45

    Detecting Adversarial Images through Response Profiles of Vision-Language Models 论文发布

    该方法利用冻结视觉语言模型(VLM)对语义提示的响应特征构建紧凑画像,无需微调即可识别对抗输入。在多种公开数据集、CLIP 风格骨干网络及梯度优化类攻击下,其判别力优于嵌入几何基线且保持泛化性能。研究还验证了该方案在提示配置变化下的有效性及对抗自适应攻击下的推理成本与表现。

  6. arXiv · 机器人与计算机视觉82

    Video Prediction Policy 2:预测更准、行动更佳

    论文发布 Video Prediction Policy 2(VPP2),一种旨在将视频预测先验转移至动作学习的世界动作模型(WAM)。针对现有模型在开放环境中产生错误运动预测的问题,作者通过大规模操作视频数据集进行事件级预训练以增强泛化性,并将视频模型蒸馏为单步视觉规划器,同时引入混合 Transformer 架构的动作模块以学习隐式逆动力学模型。

    推荐理由:作者提出 VPP2,通过事件级预训练与混合 Transformer 架构解决现有世界动作模型在开放环境中的运动预测错误问题。

  7. arXiv · 机器人与计算机视觉53

    Diversity-Driven RL Fine-Tuning for VLA Generalization:一种提升视觉语言动作模型泛化性的强化学习微调方法

    针对强化学习微调后视觉语言动作(VLA)策略泛化性受限的问题,本文提出 DRIVE 方法,通过将成功行为的多样性转化为内在奖励来鼓励更广泛的可行解覆盖。该方法在 LIBERO-Plus、ManiSkill3 和 RoboTwin 2.0 基准上显著提升了域外性能,并在 AgileX PiPER-X 双臂物理平台上将平均成功率从 64.1% 提升至 73.3%,证明了其在真实部署中的有效性。

  8. arXiv · 机器人与计算机视觉85

    Juno:驯化预测潜变量以优化视觉语言动作模型

    论文介绍 Juno 框架,利用联合嵌入预测架构(JEPA)构建控制对齐的表征骨干、预测教师及可适应动力学模型。通过动态 CLS 损失转移运动加权补丁动力学,融合当前帧 JEPA 补丁并解耦推理分支以蒸馏未来潜状态用于动作生成。

    推荐理由:提出基于动作条件 JEPA 的统一框架,解决预训练与部署中的表征失配问题,在仿真与真机实验中均提升成功率。

  9. arXiv · 机器人与计算机视觉35

    SNAP 方法解决视觉语言预训练中合成困难负样本的失效模式

    SNAP 提出一种生成模内困难负样本的方法,彻底规避了跨模态构造过易或包含正样本、以及模内构造引入匹配正样本这两类失效模式。该方法无需外部生成模型且训练开销低于 10%,在 CLIP 和 FLIP 架构上显著提升了零样本检索与分类性能。

  10. arXiv · 机器人与计算机视觉48

    TMT:面向未见任务的视觉语言动作策略运行时后门检测

    TMT 是一种基于 Token Manifold 和潜在状态转移建模的运行时后门检测器,能在未见任务上识别保留良性性能却触发恶意动作的后门 VLA 策略。该方法在十基线对比中达到最先进性能,并通过自蒸馏技术利用冻结的后门策略监督学生模型进行净化,无需额外干净参考策略。项目页面已公开,相关代码与权重许可情况待进一步确认。

  11. arXiv · 机器人与计算机视觉74

    TempoBridge:面向视觉语言动作策略的语言引导节奏控制

    TempoBridge 是一个轻量级框架,利用冻结的 VLA 表征根据指令中的节奏线索调制动作执行速度,无需额外的节奏条件化机器人演示或基础策略微调。该框架从上下文 VLM 表征中提取节奏线索,通过因果阶段路由器将其与任务进度对齐,并在执行期间调制名义运动命令。

  12. arXiv · 机器人与计算机视觉73

    Immiscible Diffusion Policy:通过无标签噪声分配保持多模态机器人动作

    论文发现扩散策略常因独立动作噪声配对导致路径混合而坍缩至单模态,为此提出 Immiscible Diffusion Policy 作为训练时插件以保留多模态行为。该方法在五个仿真和两个真实人形操作任务中显著提升了非主导模态比例并恢复了缺失的动作模式,且无需修改策略架构或推理流程。

  13. arXiv · 机器人与计算机视觉83

    VLM 为何会漏掉小物体以及何时缩放是安全的

    该研究提出基于视觉 token 数量与覆盖内容的理论框架,解释了 VLM 在大图像中漏检小物体的原因及缩放操作的代价。实验表明,局部分解策略在满足特定重叠条件下不会降低召回率,且在某些场景下能提升效果。材料为预印本论文,未涉及真实机器人部署或产品发布。

    推荐理由:理论界定了大图像中漏检小物体的根本限制,并证明局部分解策略在特定条件下可无损提升召回率。

  14. arXiv · 机器人与计算机视觉38

    基于视觉语言模型的农业机器人自适应喷药框架提升作业精度与灵活性

    该研究提出一种结合视觉语言模型(VLM)的上下文感知自适应喷药框架,使农业机器人能整合作物、农药及天气数据做出优化决策。实验表明该方法在检测作物行时准确率至少提升 30%,并在两种环境中验证了灵活调节喷量与车速以减少飘移的能力。

10月7日周三