跳到正文
11月10日周二
  1. arXiv · 机器人与计算机视觉58

    脑对齐潜在动作:将运动前额叶皮层几何施加于机器人动作词汇

    论文发现基于无标签视频学习的离散潜在动作码分配极不稳定,受训练细节影响显著。研究提出利用猕猴腹侧运动前额叶皮层(PMv)的表征几何约束动作码分配,在未见形状类别上实现了 0.52 的表征相似度,优于随机编码器及无先验模型。作者明确了下游操作测试方案,将在后续版本补充 CALVIN 管道上的机器人操作结果。

  2. arXiv · 机器人与计算机视觉56

    HINT-VLM:基于具身视觉语言模型的类人机器人粗糙地形交互导航研究

    针对类人机器人在户外粗糙地形中需同时处理地形通过性与物体可移动性的挑战,本文提出 HINT-VLM 混合规划框架。该方法利用视觉语言模型(VLM)提供语义先验,并通过高斯过程残差模型修正以生成具身化的概率性可移动性估计,进而融入分层不确定性感知规划中。这是首个通过预测式可移动性推理解决粗糙地形下 NAMO 问题的方案。

  3. arXiv · 机器人与计算机视觉45

    Kinora:支持文本生成运动、机器人重定向与交互验证的版本化工作流

    Kinora 系统通过版本化工件连接文本到运动生成、动作库及本地代理工具,利用独立指定的 52 关节制作 rigs 和过程骨架预览分离几何与模型。评估显示 server 0.5.1 和 Gadget 0.15.2 在 156 次回归测试中全部通过数值关卡,但转弯拼接仍保留 14.3 cm 支撑脚漂移预警。该成果支持部分集成与保存契约,未证实语义质量提升、群体可行性或硬件安全性。

  4. arXiv · 机器人与计算机视觉58

    Review the Episodes, Refine the Lessons: Simple Memory Evolution for Embodied Agents

    论文提出 SimplEvo 方法,探索多模态大语言模型在保留执行经验的文本记忆中直接控制的提升极限。该方法无需权重更新或后训练策略,通过单次演示生成无坐标任务记忆,并在训练阶段构建仅基于训练集集的有界工作记忆,每轮迭代后根据程序、完成度和恢复情况精炼该记忆。

  5. arXiv · 机器人与计算机视觉67

    当编码智能体拥有机械臂:跨越数字 - 物理边界的风险分析

    该研究介绍了 ArmedAgent,这是首个系统性评估零样本机器人控制代码智能体风险的基准。涵盖 36 个任务在 5 种场景下的鲁棒性、恶意使用及间接注入风险,先在仿真中评估并在物理机械臂上验证。测试包括 GPT-6-Astra 等前沿模型,发现当前系统在数字资源威胁转化为物理行动方面存在显著安全风险。

  6. arXiv · 机器人与计算机视觉62

    HARP-Bench:面向活跃人类环境的机器人操作基准评测

    现有机器人操作基准多假设环境静态且仅由指令决定任务语义,忽略了人类作为主动代理共享工作空间的现实情况。本文提出 HARP-Bench 基准,将人类活动视为操作问题的一部分而非背景干扰,涵盖提示、贡献、打断与共存四种条件,并配套演示生成管线。

  7. arXiv · 机器人与计算机视觉55

    面向快速执行的基于视觉策略的异步控制与动作推断:一种感知感知的指令生成方法

    针对基于视觉的控制策略(含视觉语言动作模型)因动作推断计算成本高导致执行速度慢的问题,本文提出了一种无需修改底层策略学习过程的异步推理与控制框架。该方法将连续目标位置的生成建模为跟踪控制问题,利用预测位置方差实现自适应动作跳过,从而在保持平滑稳定运动的同时大幅提升任务执行速度。

  8. arXiv · 机器人与计算机视觉50

    显式捕捉演示者多模态性以蒸馏至扩散策略

    论文提出通过 Vine Sampling 方法从同一观测状态多次查询演示者,以显式捕获动作分布的多模态性与多样性,从而解决标准滑动窗口行为克隆数据导致的单模态记忆问题。在合成任务与二维卡车卸载实验中,该方法显著提升了策略对演示者的匹配度及 Best-of-N 和专家迭代性能。

  9. arXiv · 机器人与计算机视觉65

    零样本 VLA 自适应:基于检索的引导

    针对预训练视觉语言动作(VLA)模型在域偏移下表现不佳的问题,论文提出 RAGu 方法,通过几何校准将源演示转换至目标设置,并采用粗到细策略从海量候选中筛选兼容轨迹。该方法直接引导 VLA 的流匹配推理过程,无需重训基座或扩展上下文窗口。实验显示,RAGu 在真实世界、仿真及跨具身的人形机器人操作中,将成功率从 20% 提升至 80%,且在仿真环境中优于最接近的基线方法。

  10. arXiv · 机器人与计算机视觉56

    DreamVLA:从生成的动作到类人机器人视觉语言动作策略

    论文 DreamVLA 提出利用生成式运动轨迹指导仿真环境中的强化学习,从而无需新的遥操作数据即可训练 VLA 模型。核心贡献是参考条件 DAgger 蒸馏流程,在失败后重启 RL 专家并聚合成功修正轨迹以解决分布偏移。研究评估了抓取、开抽屉、按按钮及行走抓取等任务,并对 DAgger 迭代次数、残差强化学习和生成数据集规模进行了消融实验。

  11. arXiv · 机器人与计算机视觉72

    感知而非推理限制了视觉心理理论:一项关于 VLM 在抽象面板与自然场景中的评估

    该论文指出视觉语言模型(VLM)在处理视觉呈现的信念推理任务时表现显著下降,主要瓶颈在于感知前端无法追踪主体在场状态及存在现实偏差,而非缺乏推理模块。研究提出五条件解离协议与感知贡献比指标,在抽象二维面板和自然主义三维游戏场景中测试了七种 VLM 模型约 15.9 万次 API 调用。

  12. arXiv · 机器人与计算机视觉83

    SPARK-VLA:一种无需外部 3D 输入的视觉语言动作模型空间表征蒸馏与知识路由方法

    针对视觉语言动作模型(VLA)理解三维物理结构的需求,本文提出 SPARK-VLA 框架,在无需推理时引入外部 3D 输入或专家的前提下实现空间适配。

    推荐理由:提出无需外部 3D 输入的 SPARK-VLA 框架,通过注意力对齐蒸馏与轻量路由实现参数高效的 3D 感知 VLA 学习。

  13. arXiv · 机器人与计算机视觉82

    通过蒸馏信念空间任务与运动规划器部署合规智能体

    针对强化学习难以完美优化奖励导致行为不合规的问题,本文提出结合离线规划生成轨迹数据集并蒸馏为基于原始观测的策略的方法。该方法引入双重平均损失和ρ-最优强化机制以解决历史依赖策略的难题,并在需要获取信息才能成功的 Scavenger 挑战域中实现超过90%的成功率,而强化学习基线最高仅为5%。研究还展示了该蒸馏策略在遵循未见过的模糊指令及泛化至更大平面图时的迁移能力分别超过60%和75%。

    推荐理由:提出将离线规划蒸馏为策略的新方法,在信息获取任务中成功率超90%,显著优于强化学习基线。

  14. arXiv · 机器人与计算机视觉78

    不确定而非隐瞒:对视觉语言模型顺从行为的机制重估

    该研究针对医疗检索增强生成中视觉语言模型(VLMs)面对 X 光片与报告冲突时的行为提出质疑。通过表征探测、激活引导和双向强制选择等诊断方法,在四个指令微调 VLM 上验证了矛盾回避现象。

    推荐理由:研究证实 VLMs 在医疗场景下因不确定性而非隐瞒回避矛盾,为安全部署提供新诊断视角。

  15. arXiv · 机器人与计算机视觉72

    VLA 需要多少演示?关于 VLA 微调的样本效率研究

    论文研究了六种预训练视觉语言动作(VLA)模型在四个 LIBERO 任务集上的适应效率,发现模型间样本效率差异显著:pi_0.5 比 pi_0 所需演示少 2-5 倍且在长视野任务差距最大;GR00T 系列中 N1.5 的适应效率优于后续版本。研究还指出冻结视觉语言模块会严重损害联合训练的 pi 模型但对 GR00T 影响甚微,且验证损失低估了 pi_0.5 的样本效率优势。

  16. Berkeley BAIR Blog74

    UC Berkeley BAIR 团队亮相 CoRL 2026:发布多篇论文与开源工具

    UC Berkeley BAIR 团队在 CoRL 2026 会议上展示多项机器人学习成果,包括早期职业主题演讲、33 篇主会论文及 4 个 Late-breaking results 海报。

    推荐理由:UC Berkeley BAIR 团队在 CoRL 2026 会议展示多项机器人学习成果,涵盖从具身记忆、灵巧操作到世界模型及仿真工具的最新进展。

11月9日周一
  1. 智东西 · 机器人68

    伽马智能联合宇树推出人形机器人移动操作统一测评平台 LocoManiLab

    伽马智能联合中国电信孵化的TeleAI及宇树推出LocoManiLab,这是面向人形机器人移动操作的统一测评框架。该平台覆盖五类家庭空间、13个场景实例和234项任务,以宇树G1人和Dex3灵巧手为测试本体,拆解策略模型与全身控制器两个层面进行综合评测。

  2. 量子位65

    LobeHub 开源支持 Agent 自主派活与跨项目协作的超级工作流

    LobeHub 团队将支持 Agent 自主拆任务、派活、写代码、审 Bug 及跨项目接力的协作平台 LobeHub 开源。实测显示,其主管 Agent 可组建多智能体编辑部完成选题与网页开发全流程,并能临时新建 Worker 接力工作;系统通过共享工作空间保留进度,结合 Acceptance 验收机制确保人类掌握最终控制权。GitHub 仓库已开放源码供部署体验。

  3. arXiv · 机器人与计算机视觉65

    CompVLA:一种面向接触丰富操作的变柔顺视觉语言动作模型

    论文介绍 CompVLA 框架,旨在解决现有 VLA 模型仅输出运动学指令而在接触丰富任务中表现不佳的问题。该方法在常规架构基础上增加专用柔顺专家模块,基于 RGB 和语言输入联合预测运动及随时间变化的刚度矩阵与虚拟位移轮廓,并通过几何阻抗控制执行。

  4. arXiv · 机器人与计算机视觉58

    通过几何先验预训练提升模仿学习效率

    针对新操纵任务需重新收集演示和训练的样本效率问题,该研究构建了一个仅包含平面、物体和手的几何视觉预训练数据集,轨迹自动生成且不含纹理背景,并将手表示为立方体以适配不同机器人形态。在 ACT 框架下,该方法在三个仿真机器人五个任务及三个真实世界任务中评估显示,相比从头训练,使用少量任务演示微调时能实现更高的早期成功率,表明简化几何场景可作为跨机器人与真实任务的有用初始化。

  5. arXiv · 机器人与计算机视觉65

    CoRL 2026:自回归策略如何实现 VLA 模型的实时执行

    针对大规模视觉语言动作模型(VLA)部署中实时执行的挑战,该研究指出当前工作多聚焦于扩散策略,而自回归策略因同步推理速度慢同样面临瓶颈。论文提出通过调整分词视域和应用约束解码技术,使自回归策略在保持严格延迟边界的同时实现多轨迹解码,从而最大化性能。

  6. arXiv · 机器人与计算机视觉82

    基于流式第一人称 3D 手部动作预测的操纵表征学习方法 SFHand

    论文提出 SFHand,这是一种首个通过流式第一人称 3D 手部动作预测进行表征学习的方法。该方法利用自回归架构从视频和语言指令中连续预测未来手部状态(包括手部类型、2D 边界框、3D 姿态及轨迹),并配备 ROI 增强记忆层以捕捉时间上下文。

    推荐理由:提出通过流式第一人称手部动作预测进行表征学习,开源了配套数据集与模型,在仿真及真实世界操作中均取得领先性能。

  7. arXiv · 机器人与计算机视觉65

    ManiTaskGen:一种用于评估与改进具身决策视觉语言代理的综合任务生成器

    ManiTaskGen 是一个自动为任意给定场景生成全面、多样且可行移动操作任务的系统,涵盖基于过程的具体指令和基于结果的抽象指令。该系统在仿真与现实场景中验证了有效性,并利用生成的任务构建基准以评估基于现有视觉语言模型(VLM)的代理的高层具身决策能力,同时提出利用这些任务增强具身决策的方法。代码已开源。

  8. arXiv · 机器人与计算机视觉54

    计算机使用代理是具身通用主义者:通过屏幕渲染物理环境视图并利用键盘鼠标操作完成具身任务的框架研究

    本文论证具身智能可转向类似通用模型的范式,核心是将具身任务构建为与数字软件的交互。作者开发了软件以在屏幕上渲染物理环境视图并提供控制接口,使计算机使用代理(CUA)能通过截图、点击等常规软件操作执行具身任务。

  9. arXiv · 机器人与计算机视觉82

    仅需少量梯度符号:视觉语言模型的少样本适应方法

    论文指出视觉语言模型少样本适应时梯度估计存在严重校准偏差,但小幅度梯度的符号仍具信息量。为此提出 SignSparseSGD 和 DynSignSparseSGD 两种无需维护状态、仅利用梯度符号的优化器。

    推荐理由:针对少样本适应中梯度估计噪声大的问题,提出无需维护状态且仅利用梯度符号的优化器,在多项基准上表现优异。

  10. arXiv · 机器人与计算机视觉78

    On Agentic Manipulation Policies:通用 AI 代理策略实现机器人操作新基准

    论文提出通用 AI 模型可直接控制机械臂的代理操纵策略(AMPs),无需演示或特定训练即可在 RoboLab-120 和 CaP-Gym 基准上达到最先进结果。AMP1 参考框架支持单臂、双臂及移动操作,在真实世界实验中零样本成功率达 85.6%,显著优于现有 VLA 和 WAM 策略。研究还展示了通过持久化记忆提升经验学习能力的潜力,相关代码与视频已公开。

    推荐理由:该文提出通用 AI 代理策略在零样本任务中优于专用 VLA/WAM,并开源参考框架 AMP1。

  11. arXiv · 机器人与计算机视觉82

    SURE:用于高效视觉语言动作学习的时空不确定性表征

    论文提出SURE框架,旨在解决视觉语言动作(VLA)策略对大量演示数据的依赖问题。该方法通过引入轻量级转置卷积概率动作解码器来捕捉空间不确定性,并利用Soft-DTW对齐监督来处理预测与演示之间的局部时序差异。实验在LIBERO、RoboTwin 2.0及真实操作任务上验证,结果显示即使仅使用10%的演示数据或20%的训练步数,SURE的操作成功率也能匹配或超越基线VLA模型。

    推荐理由:SURE通过显式建模动作空间的空间与时间不确定性,在仅用10%演示数据或20%训练步数下即可达到基线水平。