RynnVLA-Latent:通过三维接地潜变量动作扩展机器人操作基础模型
针对视觉语言动作(VLA)模型受限于稀缺的动作标注数据和跨机器人本体不兼容的控制空间问题,本文提出 RynnVLA-Latent 框架。其核心组件 RynnLAM 能从视觉转换中学习连续、三维接地的潜变量动作,无需原生机器人控制信号。
针对视觉语言动作(VLA)模型受限于稀缺的动作标注数据和跨机器人本体不兼容的控制空间问题,本文提出 RynnVLA-Latent 框架。其核心组件 RynnLAM 能从视觉转换中学习连续、三维接地的潜变量动作,无需原生机器人控制信号。
TopX 是一个拥有 73M 参数的流匹配 Transformer,能够仅根据骨架树、静息姿态和关节名称为任意运动学树生成关节旋转和根轨迹,无需训练片段或微调。该模型通过热核坐标对查询和键进行旋转以处理任意拓扑的骨架图,并在测试集上显著优于 UniMate,特别是在未见过的角色骨架上降低了 FID 分数并减少了穿模现象。
推荐理由:TopX 模型仅凭骨架文件即可为未见过的角色生成动作,在无需微调或重定向的情况下显著降低了描述符与运动质量指标。
arXiv 论文提出 AdaPolicy 框架,旨在赋予机器人策略前瞻性能力以改善控制性能。该方法摒弃依赖未来观测显式监督的传统做法,转而直接从动作信号中激发预见性。
针对将视觉语言动作模型扩展到具身智能时面临的全身控制协调与数据收集成本高的挑战,该研究提出了 HuGe 系列模型。该模型预训练于超过 2000 小时的以自我为中心的人机混合数据,采用三种代表性架构预测潜在运动令牌及手部控制信号。
针对视觉语言动作模型在长程任务中单步失败导致整体未完成的痛点,本文提出 RoboDuo 闭环双系统框架。该框架利用代码作为编程智能体与两个 VLA 之间的接口:全任务 VLA 负责尝试执行,若检查发现未完成,则由原子 VLA 完成剩余步骤。
该论文提出了 X-World 框架,旨在解决将视频扩散模型生成的交互表示迁移到机器人控制的问题。方法上,通过残差跨视角注意力分支扩展预训练视频骨干网络以支持一到三个视角,利用层对齐的 Q-Former 聚合特征,并通过数据集特定模块映射原生状态与动作接口至共享动作专家。
推荐理由:该框架将视频先验通过固定长度 token 序列迁移至共享动作专家,在 LIBERO 基准上达到 98.5% 成功率,并展示了跨视角融合与去耦训练对真实双臂任务的效果。
论文提出 Extended LASMP 方法,旨在提升四旋翼飞行器在三维环境中的基于采样的运动规划效率。该方法将语言辅助子集采样扩展至空中系统,利用提示词大模型从自然语言指令中提取实体并验证指令,将其转化为偏航角约束和高度感知的几何约束。仿真结果表明,该方法能在复杂环境中生成无碰撞且一致的轨迹,相比均匀 RRT 规划器显著减少了采样努力。
本文发布 BEHAVIOR-Spatial 基准,基于 BEHAVIOR-1K 构建,包含 3,256 个空间问答、1,240 个点定位查询及动作评估。实验显示基线模型在固定布局下仅能遵循 41.6% 的指令,当目标变更时降至 16.1%,表明单纯的任务成功无法证明空间指令被正确执行。研究还发现视觉语言模型的问答能力与机器人操作性能存在策略依赖的相关性,为评估空间感知向行为的转化提供了新视角。
该研究引入一种无需微调的素描探测工具,通过时间顺序构建、空间注意力定位和机制层头定位三个维度评估大型视觉语言模型。实验在两个部分标注的素描数据集上对九种模型进行评测,发现模型内部结构信号能保留人类绘图惯例且定位集中在特定网络层带。该方法可作为实用诊断工具,无需辅助分割器即可匹配或提升所有测试模型的定位准确率。
ElevateHead 通过在学习到的决策点一次性选择并锁定动作模式,解决了策略在演示存在多种有效方式时的摇摆现象。该方法在受控任务中将成功率从基线 BeT 的 29.3% 提升至 45.2%,且在强制指定模式下对成功集子的匹配率达 95%。研究通过逐版诊断修复了不同起始位置和物体摆放导致的承诺失效,但仿真结果尚未在真实机器人上验证。
针对视觉语言导航(VLN)中现有可解释性方法忽视指令阶段差异的问题,本文提出了一个阶段感知的归因框架。该方法构建动作条件的时间序列指令 - 视觉归因,将其投影到指令空间以估计阶段关联,从而聚合历史证据并优化当前解释;同时利用指令引导的空间滤波器抑制孤立响应并保留紧凑的相关区域。
Jingwen Li 等人在 arXiv 发布论文《Learning Functional Specialisation for Bimanual Robotic Control》,在仿真肌肉骨骼系统中研究双机械臂控制的责任组织方式。
针对视觉 - 语言 - 动作(VLA)模型依赖文本输入导致自然语音部署受限的问题,本文提出 Speech-π0.5。该模型基于 π0.5 架构,利用跨模态投影将原始语音帧直接转换为音频 token,无需显式文本转录,从而显著降低响应延迟。实验在 LIBERO 基准上验证了其在保持竞争力的任务成功率的同时,对未见口音具有鲁棒性,而单一适配器则表现较差。
推荐理由:提出 Speech-π0.5,通过跨模态投影将语音帧直接映射为动作指令,相比传统 ASR 流程降低三倍响应延迟。
论文提出 RoboLongR 框架,旨在解决长视界操作中视觉进展掩盖任务先决条件的问题。该方法通过阶段打乱监督、循环记忆和两轮训练学习依赖历史的奖励,引导策略从行为克隆过渡到在线强化学习。模型在 RLBench 88 个任务预训练后,对未参与预训练的 18 个长视界任务平均成功率达 31.8%,超越最强基线 9.2 个百分点;在四个真实机器人任务上成功率为 57.5%,提升 32.5 个百分点。
论文提出了 AdaDexTrack 框架,通过引入循环调制器解决语言指令转化为长程接触丰富手物交互时的噪声与偏差问题。该框架包含蒸馏后的通用跟踪器作为技能载体,以及执行参考调制、物体潜变量调制和位置目标调制三种反馈修正机制。研究在大规模数据集上训练并验证了该方法在未见轨迹和物体上的鲁棒性与泛化能力,同时在真实硬件上实现了零样本仿真到现实的迁移,显著提升了纯跟踪器变体的性能。
该预印本研究评估并提出了在视觉语言模型中实现可靠模态控制的方法。当图像与文本描述冲突时,仅凭答案正确性无法判断模型是否遵循了指定模态的证据。作者通过引入新词嵌入和反事实双边距监督,训练模型区分视觉与文本依据。
针对语言引导导航在新环境中部署失败的问题,该方法利用单次 iPhone 扫描构建训练环境并合成可执行导航片段,通过解析重建场景的帕累托效用直接适配策略,无需人工标签或模仿学习。在五个真实环境中,RealNav 系统达到 85% 的成功率,显著优于依赖人工演示基线的 49%,且在未扫描区域也保持 82% 的性能。
推荐理由:提出用单次手机扫描替代人工演示,通过解析重建场景实现免标签策略适配,在真实机器人上导航成功率提升至 85%。
论文指出将视觉语言模型(VLM)集成到机器人操作流程中时,真实世界评估困难且难以扩展。作者提出利用真实机器人上的立体和腕部相机图像进行空间与时间排序任务来评估视觉推理能力,具体包括基于语言描述的帧重排、按距离的物体深度排序以及像素坐标下的左右排序。
推荐理由:提出基于真实机器人立体与腕部相机数据的可扩展生成管线,通过时空排序任务提升 VLM 在下游机器人任务中的推理能力。
arXiv 发布了一个名为 RoboJev-27B 的开源视觉语言模型,用于判断机器人操作任务是否成功完成。该模型基于 JEV-27B-VL 变体训练,在 SO-101 机器人上达到 95.2% 平衡准确率,并支持跨实验室与未见过机器人的泛化。材料提供了推理代码、20,628 条预测结果及透明评测基准,同时对比了基于 API 的前沿视觉语言模型。
推荐理由:该预印本公开了用于机器人任务成功检测的视觉语言模型 RoboJev-27B,提供了推理代码与基准评测数据。
该研究提出了 Open-World Law-to-Action 框架,旨在解决机器人在未见过的家庭场景中操作具有隐藏物理属性(如门锁、阻力)的可动部件问题。系统利用视觉语言模型生成运动学约束作为先验,并通过贝叶斯线性回归在线识别部件的物理规律,同时保留触觉推翻假设的能力。实验在仿真环境中进行,结果显示该方法能显著提升对需要新物理项物体的任务成功率,并在未知场景中保持较高的完成比例。
该论文提出 EXE 框架,旨在解决机器人数据稀缺问题。方法上,利用第一人称人类操作视频作为替代数据,通过分解潜在动作表示将共享的操作先验与人体特定运动模式分离,使 VLA 模型能学习可迁移的技能而不受人体运动学偏差影响。实验表明,该方法在 RoboTwin 2.0、RoboCasa GR1 及真实世界任务中均优于未预训练的基线,且能同时受益于平行夹爪和灵巧手两种执行器。
作者提出 OODConceptBench 这一包含 30,752 张图像的分层基准,用于测试视觉语言模型对开放世界概念的零样本识别能力。评测涵盖 560 个概念短语及七个类别,结果显示所有 37 款模型在更难子集上的表现均低于主集,且新发布模型并未必然提升特定类别的泛化效果,表明 OOD 问题仍是当前挑战。
论文提出 MimicAll 强化学习框架,旨在解决共享策略在结构、形态和动力学各异的人形机器人间的通用问题。该方法将结构化本体描述编码为全局与关节对齐的条件,结合观测历史与身体匹配的运动参考来预测关节目标偏移。
推荐理由:提出强化学习框架 MimicAll,通过结构化本体描述实现跨异构人形机器人的全身运动追踪。
针对现有行为克隆策略依赖固定观测窗口而缺乏持续上下文的问题,本文提出 Tiny Recursive Policy(TRP),通过共享计算模块在每一步控制中反复更新高、低层潜在状态并解码动作序列。
推荐理由:提出结合持久时序状态与递归潜在精度的行为克隆策略,在长程任务上显著优于大生成式基线且参数量更少。
João P. Matos-Carvalho 等人发布论文 Image Clustering with Vision-Language Model Embeddings,对比了九种表示管道在七个基准数据集上的聚类性能。
推荐理由:该研究对比了九种基于预训练视觉语言模型的图像聚类流程,揭示了特征提取与归一化选择对调整兰德指数(ARI)的关键影响。
针对视觉语言动作模型(VLA)部署于内存受限车载平台的挑战,本文提出 AGQ 方法,结合动作敏感性与权重恢复成本代理来分配矩阵位宽。该方法通过通道校准补偿量化误差、保持矩阵内统一位宽以维持布局规则性,并利用基于位的分组无损编码减少驻留存储及块级恢复限制临时缓冲区。
VLMProbe 是一个集成透镜读出、注意力归因及因果干预的开源库,支持跨架构系统分析与可视化。实验对比显示表征读出结果依赖分析目标且局部归因可能与干预效应不一致,SAE 评估则揭示了重构保真度等权衡。代码已公开,为选择方法与验证模型行为假设提供可复用基础。
论文介绍 EKT-Router 框架,旨在解决具身视觉语言模型需基于部分且演化的观测回答问题的问题。该框架联合选择能力专家、可选知识与感知工具,利用结果衍生的特征表征通用、空间推理与时空专家的重叠优势,并在调用预算下对完整路线进行联合效用评分。
WorkFactory 是一个可扩展框架,旨在从专业意图出发构建连贯且可执行的任务。该方法通过信息级规划建立支持图以指导任务实例化,并利用探测执行识别修复环境缺陷。
针对云侧推理导致的预测与执行不匹配问题,本文提出 RAPAC-DP 框架,通过轻量级编码器学习补偿机制,使扩散策略生成的动作序列与调度交接时间对齐。该方法无需显式动力学模型或额外延迟数据,仅在仿真基准和 Franka Panda 机械臂的 450 次物理实验中验证了有效性,将高延迟下的平均成功率从 28.9% 提升至 60.0%,并在 Kinetix 上保留了 81.4% 的无延迟性能。
针对视觉语言动作(VLA)模型微调导致预训练语义结构退化、影响泛化的问题,该方法通过探针分析确认了动作表示质量与任务成功及分布外泛化的同步关系。研究提出一种即插即用方案,将动作表示锚定到语义流形并分解为共享与私有通道,推理时丢弃这些通道以保持部署模型不变。
推荐理由:提出一种无需修改部署模型的语义锚定方法,在仿真与真实基准上显著提升 VLA 模型的任务成功率与泛化能力。
论文提出了 WAM-TTT,这是一种针对世界动作模型的测试时训练框架。该方法不将人类视频视为模仿轨迹,而是将其吸收到冻结的世界动作模型内部的轻量级自适应记忆中,利用自监督视频预测和元训练阶段对齐人类演示与机器人行为。
论文介绍 GaP(Graph-as-Policy),这是一种结合可解释编程与无模型策略的多智能体代码框架,用于解决变体自动化任务中对象几何与姿态变化大的可靠性问题。
针对通用视觉语言模型在处理眼动视频时难以捕捉手物交互细节的问题,本文提出将视频转化为时序动作图以解耦视觉感知与符号推理。通过在 EGTEA 和 Epic-Kitchens-100 数据集上的实验表明,基于图的少样本演示比零样本帧级推理准确率高;即使在零样本设置下,该方法也具备竞争力。
论文提出语言传感器模型(LSM)将自然语言描述映射为包含指代歧义与空间不确定性的多模态分布,并引入 VL-Map 框架将其作为随机观测与车载感知融合。在 VLA-3D 基准及真机实验中,该方法使目标物体位置预测的概率质量较最强基线提升约 70%。材料仅基于 arXiv 预印本发布,未提及同行评审状态或具体部署许可。
论文介绍 ENAP(Emergent Neural Automaton Policy),这是一种神经符号模仿学习框架,能从 visuomotor demonstrations 中自适应涌现出离散任务结构作为可解释的高层规划器,并指导低层反应网络进行连续控制。
该研究针对机器人演示中由遥操者决定的动作节奏问题,提出直接从大规模演示数据中学习速度先验分布的方法。给定任务指令、运动路径及图像序列,该方法预测沿路径的执行速度分布,并据此为每个演示定义一致的时钟以消除操作员特异性时间。
本文对比了利用结构化社会与具身推理的 FISER 框架和通过合成叙事及照片级图像进行多模态增强的 CEMIR 方法。在 HandMeThat v2 基准上,针对四个大语言模型(从 Qwen2.5-Omni-3B 到 GPT-5)的评估显示,两者在解决实用歧义方面性能无统计学显著差异。研究结果表明,当任务约束已存在于文本指令中时,源自文本的多模态增强可能无法为结构化推理提供可测量的额外收益。
论文提出 ViT-H 框架,通过扩散模型直接从单目视频中生成类人参考动作,跳过中间的重构与重定向阶段,并利用运动追踪结果进行偏好优化以提升可执行性。该工作还引入了自回归变体以实现低于 400ms 延迟的实时遥操作。在 Unitree G1 机器人上的实验表明,ViT-H 在运动质量和可执行性方面均优于现有的重建 - 重定向 - 追踪流水线,且模型规模与数据规模的扩展效果良好。
推荐理由:ViT-H 框架通过生成式视频到类人控制范式,利用运动追踪反馈优化生成器,在 Unitree G1 上展现出优于传统流水线的运动质量与可执行性。
论文介绍 Backtrack 机制,通过仅增加 0.48-0.88% 参数的小头检测失败并回溯重试,无需演示或重训即可提升冻结 VLA 的鲁棒性。在 LIBERO 长程任务上,该方法使 SmolVLA、π0.5 和 π0-FAST 三个模型的失败率分别降低 19-48%,成功率最高提升 7.4 个百分点;在 MetaWorld 测试中所有配置均优于无辅助策略。