跳到正文
10月20日周二
  1. arXiv · 机器人与计算机视觉65

    HAF-VLA:面向人形机器视觉语言动作控制的分层动作流框架

    针对通用视觉语言动作策略难以适应人形机器人高维全身运动控制的挑战,本文提出 HAF-VLA 分层动作流框架。该方法基于预训练流匹配 VLA,通过可学习阶段嵌入和跨阶段 KV-cache 条件机制,将动作生成分解为移动与头部指令、腰部细化及全身操作三个渐进去噪阶段。实验在六个真实世界任务上验证了该框架能显著提升现有模型在人形机器人运动操作任务中的性能。

  2. arXiv · 机器人与计算机视觉63

    SPAR:面向视觉语言动作模型的结构性剪枝与动作恢复

    为降低视觉语言动作模型在机器人端的推理成本,该方法对大语言模型骨干网络的隐藏层和前馈中间维度进行感知剪枝,随后利用强化学习恢复操作策略性能。实验基于π0.5模型,将语言骨干参数从23.4亿降至9000万、全模型从33.7亿降至11.2亿,移除约96%和67%的参数。在LIBERO基准测试中,压缩后模型的四个套件平均成功率由84.55%提升至93.45%,推理速度提升1.98倍。

  3. arXiv · 机器人与计算机视觉73

    ALIGN:对齐优势估计与表达的优势条件行为克隆框架

    该论文提出 ALIGN 框架,旨在解决混合质量机器人数据中成功、重试与失败共存的问题。该方法直接预测类别化对偶条件并注入 DiT 动作专家,在 ARX X5 碗堆叠和 Franka 钥匙悬挂任务上,分别实现了 90.0% 和 56.7% 的闭环成功率,优于最强基线。材料为预印本论文,未提及开源代码或模型权重下载。

  4. arXiv · 机器人与计算机视觉49

    RoboPhoto-VLA 发布:基于视觉语言动作模型的机器人摄影系统

    RoboPhoto-VLA 提出统一框架,联合感知、推理与相机控制实现自主机器人摄影。该系统引入 PhotoCoT 进行结构化规划及 ADPO 对齐审美偏好,并构建 OpenPhotography 数据集支持训练评估。真实实验表明其在未见主体、视角及复杂指令下均能生成符合人类审美的照片。

  5. arXiv · 机器人与计算机视觉72

    FocusGUI:一种面向全模态 GUI 智能体的聚焦感知方法

    论文提出了 FocusGUI,这是一种针对全模态 GUI 智能体的轻量级适配器,旨在解决因统一暴露所有上下文导致的序列分心问题。该方法通过动态优先处理多模态通道并将关键证据压缩注入冻结解码器的嵌入中,引导模型注意力而不改变其原生参数空间。

  6. arXiv · 机器人与计算机视觉82

    PaceVLA:视觉语言动作模型中的自适应时序动作量化

    论文针对 VLA 模型执行效率低的问题,提出 PaceVLA 框架,利用共享动作专家构建多粒度解码器,并通过可量化性引导的模式选择与上下文路由机制,在仿真基准和真实世界任务中实现高效且可靠的灵巧操作。

    推荐理由:提出 PaceVLA 框架,通过自适应时间量化在保持任务成功率的同时提升 VLA 模型执行效率。

  7. arXiv · 机器人与计算机视觉84

    CondenseVLA:用于高效多帧 VLA 的可学习历史压缩

    论文提出 CondenseVLA,一种具备可学习解码端历史压缩模块的多帧 VLA 策略,旨在解决单纯扩大时间窗口带来的计算冗余与采样僵化问题。该方法利用 VLM 骨干网络缓存的每帧特征,通过可学习查询和多头交叉注意力将观测历史蒸馏为固定数量的 slot token,并辅以正则化项抑制槽位重叠与相关性。

    推荐理由:该工作提出可学习的历史压缩模块,在保持计算效率的同时提升多帧视觉上下文对动作解码的利用效果。

  8. arXiv · 机器人与计算机视觉73

    SAPO:一种提升视觉语言模型视频时序定位的自监督注意力策略优化方法

    针对视觉语言模型在精确时序定位上的可靠性不足问题,研究团队发现模型内部注意力区间往往比预测时间戳更准确,存在‘时序生成差距’。为此提出 SAPO 方法,利用内部注意力作为自监督信号对 Group Relative Policy Optimization 进行优化,并采用无需真值的标准筛选高价值样本。实验表明该方法在多个数据集和不同规模的模型上均提升了相对 mIoU,且能保持视频理解能力。

  9. arXiv · 机器人与计算机视觉78

    VLDA:将全量未来预测重构为紧凑的动作可执行过渡建模

    论文提出 Vision-Language-Delta-Action (VLDA) 范式,旨在解决现有视觉语言动作模型直接学习观测到动作映射的学习负担过重问题。该方法通过引入紧凑的 Delta 变量作为世界状态变化的接口,利用局部过渡滤波器抑制静态重建偏差,并结合全局过渡锚点与动作流形引导进行优化。

    推荐理由:VLDA 提出用紧凑的 Delta 变量替代直接动作预测,通过 LoongForge 框架验证了其在长程一致性与泛化上的优势。

  10. arXiv · 机器人与计算机视觉54

    Think Densely, Act Sparsely:用于视觉语言动作自动驾驶的潜空间专家认知链

    针对现有视觉语言动作(VLA)模型因稀疏监督导致关键场景信息被压缩的问题,本文提出“密集思考、稀疏行动”的新范式及 LECDrive 框架。该框架通过注入任务特定的潜变量令牌,将基础视觉模型的视觉表征、语义结构与空间几何知识内化为层级化的专家认知链,并遵循课程学习原则逐步结构化监督。实验表明,该方法在多个自动驾驶基准测试中提升了基座视觉语言模型在物体感知、状态预测和轨迹规划等关键任务上的性能。

  11. arXiv · 机器人与计算机视觉78

    InteractAgent:基于记忆增强反思的代理式人机场景交互系统

    论文提出了 InteractAgent,这是一个用于长程人机场景交互的多模态大模型系统。该系统采用单一大模型同时担任规划者与评估者,并冻结一个运动大模型作为执行器,形成闭环控制架构。

    推荐理由:该文提出 InteractAgent,利用冻结运动大模型与多模态大模型构建闭环规划执行反射机制,在 UniHSI 基准上验证了长程交互任务的成功率提升。

  12. arXiv · 机器人与计算机视觉58

    AQUAACT:首个水下遥操作数据集与闭环基准

    arXiv 发布 AQUAACT,这是首个公开的水下机器人语言标注数据集,包含 1.9 小时真实演示和 17.9 小时仿真演示及惯性测量数据。实验表明该数据集支持从仿真到真实的迁移并减少真实样本需求,但七种策略在闭环任务中完成率均低于五分之一,且陆地预训练对水下大模型无显著优势。

  13. arXiv · 机器人与计算机视觉73

    BiDex-100:面向百余项仿真任务的双手灵巧操作综合基准

    BiDex-100 是一个针对双手灵巧操作的仿真基准,涵盖泛化、指令遵循、有限演示、长视界和记忆五个能力轴上的 106 项任务。每项任务均配有视觉与空间变化的域外变体以评估鲁棒性。该基准支持两种具身形态,提供 8,080 次经验证的遥操作演示(共 625 万帧),并依据统一协议对七种近期视觉语言动作模型进行了能力、鲁棒性与数据效率的基线评估。

  14. arXiv · 机器人与计算机视觉52

    面向共享自主的意图感知模型预测控制方法

    本文提出一种结合人类认知与机器人精度的共享自主控制范式,利用动态贝叶斯网络从遥操作中的注视数据和机械臂运动实时推断人类意图。系统通过熵值调整自主性水平,将人机输入融合为模型预测控制问题,实现了从直接遥操作到完全自主的平滑过渡。实验表明,该方法相比基线算法在物体检索时间、轨迹长度和人工控制输入上分别减少至少 61%、44% 和 60%,且用户感知到的可控性与可预测性较高。

  15. arXiv · 机器人与计算机视觉54

    Learning When to Adapt: Reactivity-Conditioned Residual Adaptation under Human-Robot Distribution Shift

    论文提出 RCRA 在线自适应框架,通过 Transformer 估计行人反应性来调制冻结保守策略的残差,实现与反应型行人的合作及对非反应型行人的保守避让。相比贝叶斯基线,仿真平均准确率提升 12.62 个百分点;在成功率均高于 90% 的场景中,路径长度分别减少 16.7%(相对保守骨干)和 7.3%(相对随机训练基线),平均成功率提升 14.88 个百分点。

  16. arXiv · 机器人与计算机视觉42

    AeroDASH:异步视觉语言动作控制实现连续无人机飞行

    AeroDASH 提出一种异步 VLA 框架,通过 B-spline 策略初始化与执行感知 GRPO 优化,解决车载推理延迟导致的轨迹失配问题。在 UAV-Flow 测试集上,该模型成功率达 76.56%,分别比 OpenVLA-UAV 和去除了 GRPO 的基线高出 38.1 和 20.1 个百分点。实验表明其在保持运动的同时有效降低了加速度与加加速度波动,代码将在论文接收后开源。

  17. arXiv · 机器人与计算机视觉72

    TILDE:基于具身基础模型的循环蒸馏方法

    针对具身基础模型(EFMs)需要大量机器人数据预训练的问题,本文提出 TILDE 框架,结合学生诱导状态的在线蒸馏与教师执行恢复轨迹的学习。研究进一步开发了 AutoDAgger 自动化数据聚合管道,利用机器人奖励模型监控任务进度并触发教师干预,从而在无人类监控下收集恢复经验,相比人工闭环方法加速超两倍。该方法在三个真实世界任务上使性能提升最高达 4.1 倍,并支持跨架构蒸馏。

  18. arXiv · 机器人与计算机视觉45

    PLANE:缓解大视觉语言模型幻觉的即插即用细粒度视觉专家

    PLANE 通过 LoRA 视觉专家与指令感知门控网络,在 GIFT 基准及多项主流评测中有效降低 LVLM 幻觉并引入极低推理延迟。该方法针对物体、属性及关系三方面构建细粒度数据集进行训练,相比先进基线展现出更优性能且无需依赖 GPT-4 评估。论文已被 EMNLP 2026 Findings 接收,代码与数据许可状态待进一步确认。

  19. arXiv · 机器人与计算机视觉73

    结构优于推理:利用小型视觉语言模型实现统一的零样本导航

    针对小型视觉语言模型在具身智能任务中能力不均的问题,本文提出一种将感知证据转化为结构化决策的导航框架。该方法在每一步向模型询问两个感知问题(方向判断与停止依据)及一个路径指令查询,利用鸟瞰图上的语义场、骨架图与两阶段终止器处理结果。

  20. arXiv · 机器人与计算机视觉78

    Dream What I Can:基于稀疏视觉规划的长视界机器人操作

    论文介绍 DreamCan,一种分层策略,通过稀疏视觉规划将视频模型落地于机器人操作。高层规划器从预训练视频模型适配而来,生成平衡可达性与任务效用的稀疏子目标;低层视觉运动策略负责执行。

    推荐理由:DreamCan 利用预训练视频模型生成稀疏视觉子目标,在 LIBERO-Long 任务上达到 91.2% 成功率,并验证了其在真实双手机器人操作中的有效性。

  21. arXiv · 机器人与计算机视觉73

    DiPLO:用于行走 - 操作任务的自蒸馏扩散规划框架

    论文提出了 DiPLO 框架,结合自蒸馏扩散规划器与低层全身跟踪策略以解决人形机器人行走与操作协同难题。该框架先通过人类到机器人的动作重定向进行监督预训练,再经自蒸馏去除对强任务条件的依赖,最后利用扩散增强近端策略优化(DA:PPO)微调以提升成功率并适配冻结的跟踪器执行能力。

  22. arXiv · 机器人与计算机视觉59

    SARAM:面向终身机器人学习的稀疏适配器分配、复用与合并方法

    针对大模型 VLA 骨干在终身学习中的存储膨胀问题,本文提出 SARAM 框架。该方法在新任务中复用冻结的旧适配器,仅在稀疏层引入新适配器并施加复制惩罚;部署时通过激活统计生成签名识别任务并将更新合并回骨干网络,仅保留骨干参与控制循环。实验显示,SARAM 在四个 LIBERO 套件上表现优于或等于基线,每任务磁盘状态减少最多 4.5 倍,且 GPU 内存与推理频率随任务流增长保持稳定。

  23. arXiv · 机器人与计算机视觉70

    当更好策略留下更难检测的失败:VLM 成功监控中的覆盖度转移

    论文研究了在策略改进过程中,固定视觉语言模型(VLM)对任务成功的判断偏差问题。实验显示,虽然成功率从 66.8% 提升至 97.0%,但剩余失败案例中位于托盘边缘下方的比例显著增加,导致 VLM 误判率上升。研究揭示了任务能力提升与故障可检测性之间的解耦现象,并呼吁在报告中同时包含绝对漏报、条件漏报和审计覆盖率指标。

  24. arXiv · 机器人与计算机视觉58

    面向视觉语言动作模型的关系式空间对齐方法

    针对现有方法通过直接对齐预训练 3D 基础模型表示导致 VLA 模型特征空间秩坍缩的问题,本文提出一种关系式空间对齐方法,将关注点从点对点相等转向成对关系对齐。该方法能在注入 3D 空间感知能力的同时保持模型的原始表达能力。实验在公开基准、新的空间推理基准及真实世界操作场景中均表明,该方法能有效将 3D 空间表示融入 VLA 推理,实现多样化的操作任务中的鲁棒性能与增强的空间感知能力。

  25. arXiv · 机器人与计算机视觉62

    四足机器人利用脚部自主解决巨型魔方

    该研究展示了四足机器人仅凭脚部自主解决巨型魔方的能力。系统开发了车载 RGB-D 感知管线以估计魔方位姿和颜色状态,规划器将其转化为可执行技能序列。通过强化学习训练的全身技能在保持层配置的同时重定向魔方并用单脚固定进行转动。部署的策略能容忍相对位置变化并恢复外部干扰。硬件实验完成了三次自主求解,每次约需 30 步,耗时 8-9 分钟。

  26. arXiv · 机器人与计算机视觉45

    检索触发投影调整:冻结 OpenVLA 策略的实证研究与失效分析

    针对无法整合过往失败的冻结视觉语言动作(VLA)策略,研究提出了可审计的外部记忆包装器 RTPC。该方法在 CALVIN 单任务操作评估中虽降低了基于深度的近碰撞代理事件率,但未改变任务成功率且独立复现失败。分析指出端点耦合与批次敏感性等局限,表明该干预未确立物理安全改进或特定记忆收益。

  27. arXiv · 机器人与计算机视觉83

    GazeAct:用于注意力正则化策略的人眼注视标注操作数据集

    GazeAct 是一个配备人眼注视信号的实物机器人操作数据集与训练框架,旨在解决视觉语言动作模型(VLA)将指令锚定到正确物体和接触点的问题。研究团队通过屏幕遥操作记录操作员在机器人摄像头画面上的注视信号,获得包含 12000 次演示、覆盖 40 个任务及五个领域的多视图数据,且注视信号以 300 Hz 与图像、本体感知及动作同步。

    推荐理由:该工作提出 GazeAct 数据集与框架,利用遥操作记录的人眼注视信号作为软监督来正则化 VLA 模型的视觉注意力,在真实机器人任务中显著提升成功率。

  28. arXiv · 机器人与计算机视觉72

    CLARO:面向杂乱环境的开放词汇抓取机器人编排器

    论文介绍 CLARO,这是一个利用视觉语言模型(VLM)智能体来编排感知与操作技能的系统,能够处理开放词汇的目标检测、分割、6 自由度抓取及非抓持推搡任务。系统在动态仿真环境中平均成功率达 89.1%,在高度杂乱场景下比最强竞争方法提升超 16%;真实部署实验显示其跨机械臂迁移能力强,成功率达 88.8%。该工作已接受至 WACV 2027。