脑对齐潜在动作:将运动前额叶皮层几何施加于机器人动作词汇
论文发现基于无标签视频学习的离散潜在动作码分配极不稳定,受训练细节影响显著。研究提出利用猕猴腹侧运动前额叶皮层(PMv)的表征几何约束动作码分配,在未见形状类别上实现了 0.52 的表征相似度,优于随机编码器及无先验模型。作者明确了下游操作测试方案,将在后续版本补充 CALVIN 管道上的机器人操作结果。
论文发现基于无标签视频学习的离散潜在动作码分配极不稳定,受训练细节影响显著。研究提出利用猕猴腹侧运动前额叶皮层(PMv)的表征几何约束动作码分配,在未见形状类别上实现了 0.52 的表征相似度,优于随机编码器及无先验模型。作者明确了下游操作测试方案,将在后续版本补充 CALVIN 管道上的机器人操作结果。
针对类人机器人在户外粗糙地形中需同时处理地形通过性与物体可移动性的挑战,本文提出 HINT-VLM 混合规划框架。该方法利用视觉语言模型(VLM)提供语义先验,并通过高斯过程残差模型修正以生成具身化的概率性可移动性估计,进而融入分层不确定性感知规划中。这是首个通过预测式可移动性推理解决粗糙地形下 NAMO 问题的方案。
Kinora 系统通过版本化工件连接文本到运动生成、动作库及本地代理工具,利用独立指定的 52 关节制作 rigs 和过程骨架预览分离几何与模型。评估显示 server 0.5.1 和 Gadget 0.15.2 在 156 次回归测试中全部通过数值关卡,但转弯拼接仍保留 14.3 cm 支撑脚漂移预警。该成果支持部分集成与保存契约,未证实语义质量提升、群体可行性或硬件安全性。
该论文提出 Kinematic Action Models (KAMs) 范式,将全身运动作为直接预训练目标,利用预训练的运动生成器作为动作生成的主干。Kimodo-Policy 是该范式的初始实例,结合了冻结的 Kimodo 文本到运动骨干网络与轻量级的 ControlNet 视觉条件化。
论文提出 SimplEvo 方法,探索多模态大语言模型在保留执行经验的文本记忆中直接控制的提升极限。该方法无需权重更新或后训练策略,通过单次演示生成无坐标任务记忆,并在训练阶段构建仅基于训练集集的有界工作记忆,每轮迭代后根据程序、完成度和恢复情况精炼该记忆。
论文提出 ForeAct,旨在解决现有方法在场景几何与演化动态处理上的割裂问题。该方法复用预训练视频世界模型作为单前向传播骨干,利用可学习 token 由下一帧相对深度监督来塑造共享的视频表示,从而将空间知识转化为未来感知的动作生成表示。
Ilia Larchenko 提交 CoRL 2026 RoboEval 挑战赛的解决方案,针对八项双臂任务提出结合离线强化学习与在线推理调优的方法。
该研究介绍了 ArmedAgent,这是首个系统性评估零样本机器人控制代码智能体风险的基准。涵盖 36 个任务在 5 种场景下的鲁棒性、恶意使用及间接注入风险,先在仿真中评估并在物理机械臂上验证。测试包括 GPT-6-Astra 等前沿模型,发现当前系统在数字资源威胁转化为物理行动方面存在显著安全风险。
MOSU2 是一个长距离导航系统,通过两阶段轨迹选择机制解决公共户外空间的复杂导航问题。第一阶段基于上下文推理决定何时需要额外证据并检索信息,仅在交互未决时触发第二阶段获取几何与动态信息以对齐场景背景进行决策。
针对收集演示成本高限制 VLA 模型跟随多样化游戏玩法指令的问题,作者提出 Script2Play 框架。该框架利用 LLM 驱动的智能体构建可执行的游戏环境与任务,并通过程序化专家基于仿真状态生成分配指令、渲染观测及键盘鼠标操作。
现有机器人操作基准多假设环境静态且仅由指令决定任务语义,忽略了人类作为主动代理共享工作空间的现实情况。本文提出 HARP-Bench 基准,将人类活动视为操作问题的一部分而非背景干扰,涵盖提示、贡献、打断与共存四种条件,并配套演示生成管线。
该论文研究将连续人体动作压缩为有限离散 Token 时的输入姿态编码选择问题。作者对比了高斯关节热力图、欧氏空间根相对位置、局部关节旋转及全动力学四种编码,训练 VQ-VAE 分词器并评估代码本利用率与有效词汇量。
针对基于视觉的控制策略(含视觉语言动作模型)因动作推断计算成本高导致执行速度慢的问题,本文提出了一种无需修改底层策略学习过程的异步推理与控制框架。该方法将连续目标位置的生成建模为跟踪控制问题,利用预测位置方差实现自适应动作跳过,从而在保持平滑稳定运动的同时大幅提升任务执行速度。
论文提出通过 Vine Sampling 方法从同一观测状态多次查询演示者,以显式捕获动作分布的多模态性与多样性,从而解决标准滑动窗口行为克隆数据导致的单模态记忆问题。在合成任务与二维卡车卸载实验中,该方法显著提升了策略对演示者的匹配度及 Best-of-N 和专家迭代性能。
针对预训练视觉语言动作(VLA)模型在域偏移下表现不佳的问题,论文提出 RAGu 方法,通过几何校准将源演示转换至目标设置,并采用粗到细策略从海量候选中筛选兼容轨迹。该方法直接引导 VLA 的流匹配推理过程,无需重训基座或扩展上下文窗口。实验显示,RAGu 在真实世界、仿真及跨具身的人形机器人操作中,将成功率从 20% 提升至 80%,且在仿真环境中优于最接近的基线方法。
论文 DreamVLA 提出利用生成式运动轨迹指导仿真环境中的强化学习,从而无需新的遥操作数据即可训练 VLA 模型。核心贡献是参考条件 DAgger 蒸馏流程,在失败后重启 RL 专家并聚合成功修正轨迹以解决分布偏移。研究评估了抓取、开抽屉、按按钮及行走抓取等任务,并对 DAgger 迭代次数、残差强化学习和生成数据集规模进行了消融实验。
该论文指出视觉语言模型(VLM)在处理视觉呈现的信念推理任务时表现显著下降,主要瓶颈在于感知前端无法追踪主体在场状态及存在现实偏差,而非缺乏推理模块。研究提出五条件解离协议与感知贡献比指标,在抽象二维面板和自然主义三维游戏场景中测试了七种 VLM 模型约 15.9 万次 API 调用。
作者 Niaz Mohaiman Abtahi 和 Evan Maksud 提出了 ROLECUE 诊断框架,用于检测视觉语言模型(VLM)在跨语言场景下将视觉动作结构绑定到语言学语义角色的能力。
针对视觉语言模型(VLM)在处理电影构图问题时对帧内几何信息利用不一致的问题,该方法从冻结的检测、深度和线条专家中提取九种可复现特征,并通过共享的 24 维表示提供外部感知工具。
该论文针对视觉语言模型(VLM)在文本输出中泄露年龄、性别等软生物特征的问题,提出 PrivMark 框架。该方法通过分析模型激活状态,识别出两个与不同泄露行为相关的弱对齐转向向量方向,并将其编码为单一的有界像素扰动。
针对视觉语言动作模型(VLA)理解三维物理结构的需求,本文提出 SPARK-VLA 框架,在无需推理时引入外部 3D 输入或专家的前提下实现空间适配。
推荐理由:提出无需外部 3D 输入的 SPARK-VLA 框架,通过注意力对齐蒸馏与轻量路由实现参数高效的 3D 感知 VLA 学习。
针对强化学习难以完美优化奖励导致行为不合规的问题,本文提出结合离线规划生成轨迹数据集并蒸馏为基于原始观测的策略的方法。该方法引入双重平均损失和ρ-最优强化机制以解决历史依赖策略的难题,并在需要获取信息才能成功的 Scavenger 挑战域中实现超过90%的成功率,而强化学习基线最高仅为5%。研究还展示了该蒸馏策略在遵循未见过的模糊指令及泛化至更大平面图时的迁移能力分别超过60%和75%。
推荐理由:提出将离线规划蒸馏为策略的新方法,在信息获取任务中成功率超90%,显著优于强化学习基线。
针对机器人在未见环境中寻找目标物体的挑战,本文提出了 CPNav 导航框架。该框架结合碰撞感知规划与统计校准的 VLM 动作评分,无需地图即可实现物体目标导航。
该研究针对医疗检索增强生成中视觉语言模型(VLMs)面对 X 光片与报告冲突时的行为提出质疑。通过表征探测、激活引导和双向强制选择等诊断方法,在四个指令微调 VLM 上验证了矛盾回避现象。
推荐理由:研究证实 VLMs 在医疗场景下因不确定性而非隐瞒回避矛盾,为安全部署提供新诊断视角。
论文介绍 BATCH 框架,旨在解决利用人类演示进行机器人学习时面临的具身差异、视角、动作空间和时间结构不一致的挑战。该方法通过循环一致性目标学习自监督时间表示以建立跨具身对应关系,无需人工标注。
论文研究了六种预训练视觉语言动作(VLA)模型在四个 LIBERO 任务集上的适应效率,发现模型间样本效率差异显著:pi_0.5 比 pi_0 所需演示少 2-5 倍且在长视野任务差距最大;GR00T 系列中 N1.5 的适应效率优于后续版本。研究还指出冻结视觉语言模块会严重损害联合训练的 pi 模型但对 GR00T 影响甚微,且验证损失低估了 pi_0.5 的样本效率优势。
UC Berkeley BAIR 团队在 CoRL 2026 会议上展示多项机器人学习成果,包括早期职业主题演讲、33 篇主会论文及 4 个 Late-breaking results 海报。
推荐理由:UC Berkeley BAIR 团队在 CoRL 2026 会议展示多项机器人学习成果,涵盖从具身记忆、灵巧操作到世界模型及仿真工具的最新进展。
伽马智能联合中国电信孵化的TeleAI及宇树推出LocoManiLab,这是面向人形机器人移动操作的统一测评框架。该平台覆盖五类家庭空间、13个场景实例和234项任务,以宇树G1人和Dex3灵巧手为测试本体,拆解策略模型与全身控制器两个层面进行综合评测。
LobeHub 团队将支持 Agent 自主拆任务、派活、写代码、审 Bug 及跨项目接力的协作平台 LobeHub 开源。实测显示,其主管 Agent 可组建多智能体编辑部完成选题与网页开发全流程,并能临时新建 Worker 接力工作;系统通过共享工作空间保留进度,结合 Acceptance 验收机制确保人类掌握最终控制权。GitHub 仓库已开放源码供部署体验。
论文介绍 CompVLA 框架,旨在解决现有 VLA 模型仅输出运动学指令而在接触丰富任务中表现不佳的问题。该方法在常规架构基础上增加专用柔顺专家模块,基于 RGB 和语言输入联合预测运动及随时间变化的刚度矩阵与虚拟位移轮廓,并通过几何阻抗控制执行。
针对新操纵任务需重新收集演示和训练的样本效率问题,该研究构建了一个仅包含平面、物体和手的几何视觉预训练数据集,轨迹自动生成且不含纹理背景,并将手表示为立方体以适配不同机器人形态。在 ACT 框架下,该方法在三个仿真机器人五个任务及三个真实世界任务中评估显示,相比从头训练,使用少量任务演示微调时能实现更高的早期成功率,表明简化几何场景可作为跨机器人与真实任务的有用初始化。
针对大规模视觉语言动作模型(VLA)部署中实时执行的挑战,该研究指出当前工作多聚焦于扩散策略,而自回归策略因同步推理速度慢同样面临瓶颈。论文提出通过调整分词视域和应用约束解码技术,使自回归策略在保持严格延迟边界的同时实现多轨迹解码,从而最大化性能。
论文提出 SFHand,这是一种首个通过流式第一人称 3D 手部动作预测进行表征学习的方法。该方法利用自回归架构从视频和语言指令中连续预测未来手部状态(包括手部类型、2D 边界框、3D 姿态及轨迹),并配备 ROI 增强记忆层以捕捉时间上下文。
推荐理由:提出通过流式第一人称手部动作预测进行表征学习,开源了配套数据集与模型,在仿真及真实世界操作中均取得领先性能。
ManiTaskGen 是一个自动为任意给定场景生成全面、多样且可行移动操作任务的系统,涵盖基于过程的具体指令和基于结果的抽象指令。该系统在仿真与现实场景中验证了有效性,并利用生成的任务构建基准以评估基于现有视觉语言模型(VLM)的代理的高层具身决策能力,同时提出利用这些任务增强具身决策的方法。代码已开源。
论文提出了 Sketch-MoMa 系统,利用视觉语言模型(VLM)理解叠加在观测图像上的用户手绘草图,以推断机器人形状和底层任务。该系统结合草图和生成的形状进行识别与运动规划,支持精确且直观的操作,如抓取方式和旋转角度。
本文论证具身智能可转向类似通用模型的范式,核心是将具身任务构建为与数字软件的交互。作者开发了软件以在屏幕上渲染物理环境视图并提供控制接口,使计算机使用代理(CUA)能通过截图、点击等常规软件操作执行具身任务。
论文指出视觉语言模型少样本适应时梯度估计存在严重校准偏差,但小幅度梯度的符号仍具信息量。为此提出 SignSparseSGD 和 DynSignSparseSGD 两种无需维护状态、仅利用梯度符号的优化器。
推荐理由:针对少样本适应中梯度估计噪声大的问题,提出无需维护状态且仅利用梯度符号的优化器,在多项基准上表现优异。
论文提出通用 AI 模型可直接控制机械臂的代理操纵策略(AMPs),无需演示或特定训练即可在 RoboLab-120 和 CaP-Gym 基准上达到最先进结果。AMP1 参考框架支持单臂、双臂及移动操作,在真实世界实验中零样本成功率达 85.6%,显著优于现有 VLA 和 WAM 策略。研究还展示了通过持久化记忆提升经验学习能力的潜力,相关代码与视频已公开。
推荐理由:该文提出通用 AI 代理策略在零样本任务中优于专用 VLA/WAM,并开源参考框架 AMP1。
论文提出SURE框架,旨在解决视觉语言动作(VLA)策略对大量演示数据的依赖问题。该方法通过引入轻量级转置卷积概率动作解码器来捕捉空间不确定性,并利用Soft-DTW对齐监督来处理预测与演示之间的局部时序差异。实验在LIBERO、RoboTwin 2.0及真实操作任务上验证,结果显示即使仅使用10%的演示数据或20%的训练步数,SURE的操作成功率也能匹配或超越基线VLA模型。
推荐理由:SURE通过显式建模动作空间的空间与时间不确定性,在仅用10%演示数据或20%训练步数下即可达到基线水平。
该论文提出 ODEAction,一种无动作块的连续动作演化范式,旨在解决传统视觉 - 语言 - 动作模型在动作块切换处可能产生的不连续性。该方法利用视觉观测、语言指令和机器人本体信息学习动作空间上的过渡场,通过常微分方程积分递归生成后续动作。