跳到正文
10月8日周四
  1. arXiv · 机器人与计算机视觉70

    RoboFAC:机器人故障分析与修正综合框架

    针对现有视觉语言动作模型缺乏故障诊断与恢复监督的局限,本文提出 RoboFAC 框架并构建包含 9,440 条错误轨迹和 78,623 个问答对的大规模失败数据集。开发的多模态轻量模型在任务理解、故障分析与修正上表现优异,故障分析准确率比 GPT-4o 高 34.1%,作为外部监督器集成后四项任务相对提升 29.1% 且延迟更低。模型与数据已公开。

  2. arXiv · 机器人与计算机视觉43

    SQAM:一种结合标量伴随匹配与价值惩罚的强化学习算法,在 OGBench 四个最难领域成功率提升 18-35 个百分点,并在真实双臂机器人上优于监督微调

    SQAM 通过利用预训练流策略雅可比矩阵对角化特性,以闭式标量伴随替代逐步向量 - 雅可比积,显著降低计算成本。该方法结合动作处的价值惩罚,在 OGBench 四个最难领域成功率较最强基线提升 18 至 35 个百分点。实验还验证了其在真实双臂机器人上的有效性,SQAM 在所有三项任务上均优于监督微调结果。

  3. arXiv · 机器人与计算机视觉84

    行动前先改写:表征与缓解视觉语言动作模型的语意敏感性

    视觉语言动作模型(VLAs)对指令措辞高度敏感,单字修改即可导致成功率大幅波动。研究通过统计测试和 oracle 短语搜索发现,仅凭措辞调整可缩小分布内与分布外任务间的性能差距。

    推荐理由:原文揭示了 VLA 对指令措辞的高度敏感性,并提出无需重训的改写规则蒸馏方法,可显著提升模型在分布外任务上的成功率。

  4. arXiv · 机器人与计算机视觉45

    Detecting Adversarial Images through Response Profiles of Vision-Language Models 论文发布

    该方法利用冻结视觉语言模型(VLM)对语义提示的响应特征构建紧凑画像,无需微调即可识别对抗输入。在多种公开数据集、CLIP 风格骨干网络及梯度优化类攻击下,其判别力优于嵌入几何基线且保持泛化性能。研究还验证了该方案在提示配置变化下的有效性及对抗自适应攻击下的推理成本与表现。

  5. arXiv · 机器人与计算机视觉82

    Video Prediction Policy 2:预测更准、行动更佳

    论文发布 Video Prediction Policy 2(VPP2),一种旨在将视频预测先验转移至动作学习的世界动作模型(WAM)。针对现有模型在开放环境中产生错误运动预测的问题,作者通过大规模操作视频数据集进行事件级预训练以增强泛化性,并将视频模型蒸馏为单步视觉规划器,同时引入混合 Transformer 架构的动作模块以学习隐式逆动力学模型。

    推荐理由:作者提出 VPP2,通过事件级预训练与混合 Transformer 架构解决现有世界动作模型在开放环境中的运动预测错误问题。

  6. arXiv · 机器人与计算机视觉53

    Diversity-Driven RL Fine-Tuning for VLA Generalization:一种提升视觉语言动作模型泛化性的强化学习微调方法

    针对强化学习微调后视觉语言动作(VLA)策略泛化性受限的问题,本文提出 DRIVE 方法,通过将成功行为的多样性转化为内在奖励来鼓励更广泛的可行解覆盖。该方法在 LIBERO-Plus、ManiSkill3 和 RoboTwin 2.0 基准上显著提升了域外性能,并在 AgileX PiPER-X 双臂物理平台上将平均成功率从 64.1% 提升至 73.3%,证明了其在真实部署中的有效性。

  7. arXiv · 机器人与计算机视觉85

    Juno:驯化预测潜变量以优化视觉语言动作模型

    论文介绍 Juno 框架,利用联合嵌入预测架构(JEPA)构建控制对齐的表征骨干、预测教师及可适应动力学模型。通过动态 CLS 损失转移运动加权补丁动力学,融合当前帧 JEPA 补丁并解耦推理分支以蒸馏未来潜状态用于动作生成。

    推荐理由:提出基于动作条件 JEPA 的统一框架,解决预训练与部署中的表征失配问题,在仿真与真机实验中均提升成功率。

  8. arXiv · 机器人与计算机视觉35

    SNAP 方法解决视觉语言预训练中合成困难负样本的失效模式

    SNAP 提出一种生成模内困难负样本的方法,彻底规避了跨模态构造过易或包含正样本、以及模内构造引入匹配正样本这两类失效模式。该方法无需外部生成模型且训练开销低于 10%,在 CLIP 和 FLIP 架构上显著提升了零样本检索与分类性能。

  9. arXiv · 机器人与计算机视觉48

    TMT:面向未见任务的视觉语言动作策略运行时后门检测

    TMT 是一种基于 Token Manifold 和潜在状态转移建模的运行时后门检测器,能在未见任务上识别保留良性性能却触发恶意动作的后门 VLA 策略。该方法在十基线对比中达到最先进性能,并通过自蒸馏技术利用冻结的后门策略监督学生模型进行净化,无需额外干净参考策略。项目页面已公开,相关代码与权重许可情况待进一步确认。

  10. arXiv · 机器人与计算机视觉74

    TempoBridge:面向视觉语言动作策略的语言引导节奏控制

    TempoBridge 是一个轻量级框架,利用冻结的 VLA 表征根据指令中的节奏线索调制动作执行速度,无需额外的节奏条件化机器人演示或基础策略微调。该框架从上下文 VLM 表征中提取节奏线索,通过因果阶段路由器将其与任务进度对齐,并在执行期间调制名义运动命令。

  11. arXiv · 机器人与计算机视觉73

    Immiscible Diffusion Policy:通过无标签噪声分配保持多模态机器人动作

    论文发现扩散策略常因独立动作噪声配对导致路径混合而坍缩至单模态,为此提出 Immiscible Diffusion Policy 作为训练时插件以保留多模态行为。该方法在五个仿真和两个真实人形操作任务中显著提升了非主导模态比例并恢复了缺失的动作模式,且无需修改策略架构或推理流程。

  12. arXiv · 机器人与计算机视觉83

    VLM 为何会漏掉小物体以及何时缩放是安全的

    该研究提出基于视觉 token 数量与覆盖内容的理论框架,解释了 VLM 在大图像中漏检小物体的原因及缩放操作的代价。实验表明,局部分解策略在满足特定重叠条件下不会降低召回率,且在某些场景下能提升效果。材料为预印本论文,未涉及真实机器人部署或产品发布。

    推荐理由:理论界定了大图像中漏检小物体的根本限制,并证明局部分解策略在特定条件下可无损提升召回率。

  13. arXiv · 机器人与计算机视觉38

    基于视觉语言模型的农业机器人自适应喷药框架提升作业精度与灵活性

    该研究提出一种结合视觉语言模型(VLM)的上下文感知自适应喷药框架,使农业机器人能整合作物、农药及天气数据做出优化决策。实验表明该方法在检测作物行时准确率至少提升 30%,并在两种环境中验证了灵活调节喷量与车速以减少飘移的能力。

10月7日周三
  1. arXiv · 机器人与计算机视觉42

    STAVE:用两个向量替代上下文演示实现结构化任务适配

    STAVE 提出通过嵌入层添加读写与上下文两个特定向量,以零样本推理成本替代传统上下文学习中的演示图像。该方法在六种多模态大模型及五种大语言模型上实验显示,其参数更少且优于 15-shot ICL 及先前任务向量方法。该技术报告已在 arXiv 发布,代码与权重开放许可待定。

  2. arXiv · 机器人与计算机视觉38

    MRPilot:通过混合现实监督与干预基于大语言模型的多机器人团队

    MRPilot 是一种围绕形成、审查、跟随和修复四个阶段设计的混合现实系统,用于监督与干预基于大语言模型的多机器人团队。在虚拟仿真家庭环境中的 20 人受试者实验显示,该系统相比使用相同规划器能力的传统对话界面,显著降低了工作负荷并提升了情境感知度与信任感。研究为多尺度干预、自适应监督及校准依赖提供了设计启示。

  3. arXiv · 机器人与计算机视觉48

    Decoupling What from Where:小 GUI 定位模型接收动作类型的最佳方式研究

    针对微调 Qwen2-VL-2B 在 Android in the Wild 数据集上的动作类型输入问题,研究发现辅助损失、加法嵌入和提示词使 [email protected] 提升五至七个百分点。移除预处理中钳制离屏触摸点的序列化器后,基线准确率提升近七点,此时无机制超越且排除了两点效应。注入 conditioning 会导致图像 token 回退至一维位置并损失九分,该预印本代码与日志已公开。

  4. arXiv · 机器人与计算机视觉42

    Sim-to-Real Transfer of Vision-Language Navigation in Continuous Environments Using an Ackermann-Steered Mobile Robot

    该系统利用视觉语言模型与跨模态注意力架构,在无需导航图或全景视图的连续环境中实现仿真到现实的域迁移。通过在搭载相机和激光雷达的阿克曼转向机器人上采集数据微调,模型离线运行并成功适应真实环境。实验基于 SPL 和 nDTW 指标评估,验证了该方法在无完美定位条件下的鲁棒性与适应性。

  5. arXiv · 机器人与计算机视觉59

    EgoLAP:基于语言动作推理的以自我为中心的人类数据学习框架

    论文介绍 EgoLAP,一种 VLA 预训练框架,旨在解决具身智能中的体现差距问题。该方法将运动意图表达为结构化、时间抽象的语言动作,并结合场景几何、物理和物体功能进行运动级推理,从而更有效地从人类经验迁移到机器人控制。实验显示,EgoLAP 在真实世界任务进度上达到 80.1%,相比其他动作表示方式提升 2.3 倍,且其运动级推理优于结合子任务、对象框和视觉轨迹的复合推理格式。

  6. arXiv · 机器人与计算机视觉48

    SpaTime:融合因果几何 token 的流式视觉语言模型实现时空推理

    SpaTime 是一种流式视觉语言模型,通过每帧融合因果几何 token 在视频到达过程中实时进行三维空间推理。该模型在 StreamVSTI-Bench 基准上达到 49.2% 整体准确率,将平均响应时间误差较最强基线降低 66%,解决了传统离线 VLM 需完整视频的局限。

  7. arXiv · 机器人与计算机视觉78

    WareFly-VLA:面向智能仓库无人机的视觉 - 语言 - 动作框架与基准

    论文介绍了 WareFly-VLA,这是一个用于智能仓库中语言引导的人体搜索、定位和跟踪的光真实感无人机 VLA 框架及数据集。该数据集包含 507 次人工遥操作飞行片段和 8,504 个高分辨率 RGB 过渡帧,均在 NVIDIA Isaac Sim 中采集,并配有人工撰写的目标外观描述与同步的四自由度控制指令。

    推荐理由:该工作填补了仓库环境下无人机语言引导控制的基准空白,揭示了当前基础模型在空载平台迁移的局限。

  8. arXiv · 机器人与计算机视觉42

    时空一致性对抗攻击:黑盒视觉语言模型在自动驾驶中的脆弱性研究

    针对自动驾驶场景下的视觉语言模型(VLM),该研究提出了一种名为时空一致性对抗攻击(STCA)的黑盒攻击方法。实验基于 BDD100K 和 nuScenes 数据集,对 Video LLaVA-7B、Qwen2.5-VL-7B 及 Dolphin 三款模型验证了其在保持高结构相似性下的空间攻击成功率。结果揭示现有视频语言模型在驾驶场景中极易受时序感知对抗样本影响,凸显了构建防御机制的紧迫性。

  9. arXiv · 机器人与计算机视觉66

    ViDAL:一种基于视觉动态的动作潜在空间用于视觉语言动作模型

    论文介绍 ViDAL,这是一种将连续动作潜在变量锚定在未来场景视觉动态中的表示方法。通过训练动作变分自编码器(Action VAE)重构动作片段并使其潜在空间与未来动态对齐,该方法可作为插件接口兼容多种 VLA 架构,并支持可选的未来视频预测能力。

  10. arXiv · 机器人与计算机视觉58

    VLA-ACL:面向高效 VLA 模型的行动一致视觉 Token 剪枝方法

    针对 VLA 模型因处理长序列导致计算成本高、难以实时部署的问题,本文提出 VLA-ACL(Action Consistency Learning)方法。该方法通过动作级监督学习轻量级视觉 Token 剪枝策略,在保持基座 VLA 模型完全冻结的前提下,确保剪枝后的视觉上下文生成的动作与全量上下文教师保持一致。

  11. arXiv · 机器人与计算机视觉73

    基于生成式假设选择的反应性任务导向人机交接

    该研究针对人机物体交接中需预测特定任务手部姿势的挑战,提出了 GENESIS-Handover 方法。该方法利用视觉语言模型(VLM)的图像生成功能,为多种手物交互模式生成假设,并实时匹配观测到的人手姿态以推断最佳交接配置。实验在移动操作臂上进行用户研究,结果显示该方法在任务理解能力上优于现有最先进方法。

  12. arXiv · 机器人与计算机视觉78

    StairVLA:面向视觉语言动作模型的分层阶段感知动作生成框架

    针对扩散或流匹配动作头在处理去噪轨迹时缺乏阶段感知的不足,该研究提出 StairVLA 框架,利用部分去噪动作作为高层长视界规划与局部精细化的接口。系统采用高层 VLA 进行早期去噪以生成可复用的长时序轨迹,同时由轻量级精炼器高频更新局部动作块。

    推荐理由:该方法通过分层架构复用高层 VLA 计算并保留高频闭环修正,在 LIBERO 基准上提升成功率并降低推理延迟。

  13. arXiv · 机器人与计算机视觉59

    Foveated Compression:面向 Token 高效 VLM 的局部高分辨率保留方法

    论文介绍 Foveated Compression 方法,通过行为自蒸馏合并器压缩局部视觉 Token 并保留兼容性,利用轻量选择器在九个空间单元中选择一个以原生分辨率保留。实验显示在 11.11% Token 预算下与均匀下采样无显著差异,20.99% 时学习的选择器优于随机或固定分配但弱于全图缩放,揭示局部保真并非总是最优。预印本状态,未报告真实机器人部署结果。

  14. arXiv · 机器人与计算机视觉42

    SALM 通过结构感知隐式掩码建模解锁 CLIP 细粒度感知能力

    SALM 是一种无需图像 - 文本对即可协同局部与全局对齐的无监督嵌入对齐框架,利用双矩阵策略显式校准空间相关性并设计隐式机制恢复语义细节。该方法扩展出的 SALM-Self 范式仅凭 CLIP 浅层特征实现高效自蒸馏,在密集预测任务中显著提升性能并增强多模态大模型的零样本准确率。

  15. arXiv · 机器人与计算机视觉42

    Entropy-Gated Belief Coordination 实现间歇通信下的多智能体搜索优化

    针对同质智能体在泊松分布时间进行间歇通信的分布式目标搜索问题,研究提出熵门控信念协调机制。实验基于 103,680 次 trials(含最大 100×100 网格及四种目标运动模式)验证,EG-TDP 规划器平均信念质量达 0.300,较算术均值提升 58.9%、较访问加权融合提升 37.4%,且在随机间歇接触下优于联合贝叶斯参考基线。

  16. arXiv · 机器人与计算机视觉33

    RACER:基于残差自适应闭环估计的轮式四足赛车规划框架

    RACER 是一种结合 MPPI 规划器、学习到的残差动力学模型及底层 RL 速度跟踪器的分层控制框架,用于轮式四足机器人赛车。该方法通过 LoRRA 技术在大规模仿真预训练基础上利用少量真实数据微调低秩约束残差模型。实验表明,在高速过弯时引入残差动力学能显著提升性能,且相比仅用目标域数据或从头训练,混合源域与目标域数据及施加低秩约束的策略在接地系数或关节增益存在域差距时具有更高的成功率和表现。

  17. arXiv · 机器人与计算机视觉78

    SWAP:面向视觉语言动作模型的逐步策略路由方法

    针对单一 VLA 模型在不同任务状态和环境下的性能局限,本文提出了 SWAP 框架,将策略路由建模为离线强化学习问题以动态选择最优策略。该方法在真实世界的 DROID 操作任务和 LIBERO 仿真实验中均优于固定策略及基线路由方法,真实任务成功率绝对提升最高达 33%,同时减少了成功轨迹中的机器人动作步长。

    推荐理由:该工作提出动态组合多个 VLA 策略的框架,在真实操作任务中成功率提升最高达 33%。