从文本到视觉:VLM 的能力扩展定律与转移动力学
针对构建视觉语言模型(VLM)时选择大语言模型(LLM)骨干缺乏原则的问题,本文提出能力驱动的多模态扩展定律。该框架首次通过主成分分析提取低维文本能力分数,结合每骨干迁移率与吸收率,准确预测 VLM 基准准确率及训练轨迹。
针对构建视觉语言模型(VLM)时选择大语言模型(LLM)骨干缺乏原则的问题,本文提出能力驱动的多模态扩展定律。该框架首次通过主成分分析提取低维文本能力分数,结合每骨干迁移率与吸收率,准确预测 VLM 基准准确率及训练轨迹。
论文介绍 HIL-UMI 框架,实现无需实体机器人部署的策略引导型人类在环视觉语言动作模型后训练。该方法通过手持演示查询当前策略而不执行预测,利用能量分数检测分布外区域并触发数据收集,同时基于优势估计器优化行为克隆。实验显示其在长程与精细操作任务上优于监督微调及 HG-DAgger 方法,且每帧采集时间更低。
论文介绍 LM-X,这是一个将可解释状态(任务进度、下一语义事件、局部指令可靠性)联合预训练到控制策略中的 VLA 基础模型。研究基于生物感觉运动组织原理,在超过 20,000 小时的异构真实机器人轨迹上进行预训练,包含逾 1,000 小时失败演示。
推荐理由:该工作提出将任务进度、事件预测与不确定性估计联合预训练到 VLA 模型中,旨在解决黑盒控制问题并提升长程任务可靠性。
针对现有 VLA 模型在面对新型任务分布时表现脆弱的问题,本文提出 RA-VLA 框架,通过整合行为对齐的上下文检索与落地执行流程,解决因浅层检索机制和行为惯性导致的适应瓶颈。实验在 LIBERO 基准测试及真实 UR5e 机器人环境中进行,结果显示该框架在免训练条件下实现了更优的任务成功率与计算效率,为机器人免训练适应提供了稳健方案。
该论文研究视觉语言动作(VLA)模型如何遵循指令指定的细粒度执行约束。作者提出 ExecVLA 框架,通过双层动作表示将目标导向组件与执行特定组件分离,并引入显式的目标不变性与执行可预测性目标。
该研究在 LIBERO 仿真环境中对 DeepThinkVLA 模型进行了反事实干预实验,验证了将推理链作为控制表面的有效性。当推理链被错误指令污染时,用正确生成的推理链替换可恢复 47.8% 的成功率;而若推理链仅复述视觉信息则无影响。实验证实文本编辑能直接修正或破坏机器人行为,为部署时的接口暴露决策提供了量化依据。
论文针对现有动作分词器仅关注重建保真度而忽视 VLA 优化的问题,提出最大化时间重叠、最小化词汇冗余等四大设计原则,并据此推出 ActionCodec。在 LIBERO 基准上,基于 SmolVLM2-2.2B 微调的模型在无机器人预训练下达到 95.5% 成功率,架构增强后提升至 97.4%,刷新无预训练 VLA 模型 SOTA。
推荐理由:提出从 VLA 优化视角的 ActionCodec,在 LIBERO 基准上实现无预训练新 SOTA。
针对非马尔可夫环境中策略需处理长视界上下文信息的难题,本文提出 Keyframe Mnemonics 自监督方法,通过随机采样过去观测学习目标以发现关键信息观测(mnemonics)作为奖励进行关键帧选择。
推荐理由:提出自监督关键帧发现方法,解决非马尔可夫环境下的行为克隆长视界依赖问题。
论文介绍 PLaW-VLA 模型,该模型基于预训练面向预测的表示空间对任务相关的未来状态进行建模,利用混合 Transformer 架构通过结构化因果注意力将动作生成条件于观测历史、当前任务语义及预测的未来状态。
ContourVLA 将广义指代分割重构为闭环视觉运动过程,利用可编辑轮廓作为显式策略状态以条件化多模态感知并更新几何动作。该方法在 gRefCOCO 验证集及测试集上将 gIoU 分别提升 8.7、2.8 和 2.7 个点,并在所有八个 RefCOCO 系列分割子集中实现最高 mIoU。
论文提出 REACT 框架,解决基于流的视觉语言动作(VLA)模型在长程连贯性与即时反应性之间的权衡问题。该方法通过维持持久动作缓冲区并在每个控制步对全时间步进行滚动去噪,使执行的动作块经过多次观测细化后再部署。
该论文提出 NegaAlign 框架,旨在让视觉语言动作模型(VLA)能够遵循包含否定约束的自然语言指令。方法包括在视觉语言骨干网络中插入否定变换层以重塑中间表示,并利用教师引导机制对齐相关视觉 token。
针对传统视觉语言动作模型在固定时间间隔预测动作导致路径与执行速度耦合的问题,本文提出 PathTime-VLA 框架。该方法将运动表示为进度索引的交互路径与单调时间律,支持分阶段后训练:利用演示和 DAgger 建立目标域先验,通过 Speed-DQN 学习执行乘数,并利用 Path-AWR 优化扩散路径生成器。
针对视觉语言动作模型(VLA)在腕部相机配置变化下性能敏感的问题,论文提出 WARP-VLA 架构,利用专家混合结构学习特定视角的特征变换,无需额外输入相机外参即可实现部署。实验显示该方法将 LIBERO 基准上的平均成功率从 39.2% 提升至 78.3%,且仿真学到的特征级适应能成功迁移到真实机器人部署场景。作者开源了腕部视角鲁棒性基准及即插即用实现,以促进复现与后续研究。
ACT³是一种简单的动作中心三流 Transformer,通过逐层注意力机制将视觉语言模型(VLM)和世界模型(WM)表征融合进控制动作。该架构在保持上下文流独立前向传播的同时,允许两个骨干网络均通过控制监督进行更新。仿真与真实世界机器人操作基准实验表明,ACT³的表现优于其同类方法。
iAm.md 是一个基于大语言模型泛化能力的 Markdown 标准与生成框架,旨在解决具身智能中的“接地失败”问题。该框架利用开放词汇语义映射结合视觉 - 语言检测与对象分割,将机器人行为生成功能转化为代码生成问题以支持技能自我评估。研究在模拟 TIAGo 平台上针对导航与操作任务验证了该技术对可执行任务泛化的支撑作用。
针对现有蒸馏方法依赖枚举任务解耦对、难以泛化的问题,Skill-SLM 框架将机器人操作重构为任务分解与技能组合。该方法利用无上下文语法提取技能库,并通过大模型教师合成训练数据以支持 UAV 及地面车辆等多平台可靠执行。实验表明,该框架在未见任务上的表现显著优于蒸馏基线,且代码与权重开放许可状态待定。
论文指出监督微调后的视觉语言动作模型存在结构不对称问题,即缺乏关于成功行为失效边界的信号。为此提出 DLS 方法,基于少量真实演示与仿真协同训练构建真实接地行为先验,通过数字孪生在线策略 rollout 发现失败边界。
推荐理由:提出 DLS 方法,利用数字孪生与语义进度信号发现并塑造失败边界,提升 VLA 模型在随机初始状态下的鲁棒性。
针对通用机器人操作模型对分布外扰动脆弱且全人工遥操作认知负荷高的问题,本文提出 SAPS 框架,在动作层面实时融合人类遥操作指令与预训练视觉语言动作(VLA)模型输出。
针对现有自动驾驶 VLA 模型仅依赖正样本演示导致鲁棒性不足的问题,本文提出 SpanVLA 模型及 nuReasoning-NR 基准数据集。该数据集包含 3.6 万个推理密集型场景,其中 3000 个次优轨迹和 3000 个专家恢复轨迹。
针对现有视觉语言动作模型缺乏故障诊断与恢复监督的局限,本文提出 RoboFAC 框架并构建包含 9,440 条错误轨迹和 78,623 个问答对的大规模失败数据集。开发的多模态轻量模型在任务理解、故障分析与修正上表现优异,故障分析准确率比 GPT-4o 高 34.1%,作为外部监督器集成后四项任务相对提升 29.1% 且延迟更低。模型与数据已公开。
SQAM 通过利用预训练流策略雅可比矩阵对角化特性,以闭式标量伴随替代逐步向量 - 雅可比积,显著降低计算成本。该方法结合动作处的价值惩罚,在 OGBench 四个最难领域成功率较最强基线提升 18 至 35 个百分点。实验还验证了其在真实双臂机器人上的有效性,SQAM 在所有三项任务上均优于监督微调结果。
视觉语言动作模型(VLAs)对指令措辞高度敏感,单字修改即可导致成功率大幅波动。研究通过统计测试和 oracle 短语搜索发现,仅凭措辞调整可缩小分布内与分布外任务间的性能差距。
推荐理由:原文揭示了 VLA 对指令措辞的高度敏感性,并提出无需重训的改写规则蒸馏方法,可显著提升模型在分布外任务上的成功率。
该方法利用冻结视觉语言模型(VLM)对语义提示的响应特征构建紧凑画像,无需微调即可识别对抗输入。在多种公开数据集、CLIP 风格骨干网络及梯度优化类攻击下,其判别力优于嵌入几何基线且保持泛化性能。研究还验证了该方案在提示配置变化下的有效性及对抗自适应攻击下的推理成本与表现。
论文发布 Video Prediction Policy 2(VPP2),一种旨在将视频预测先验转移至动作学习的世界动作模型(WAM)。针对现有模型在开放环境中产生错误运动预测的问题,作者通过大规模操作视频数据集进行事件级预训练以增强泛化性,并将视频模型蒸馏为单步视觉规划器,同时引入混合 Transformer 架构的动作模块以学习隐式逆动力学模型。
推荐理由:作者提出 VPP2,通过事件级预训练与混合 Transformer 架构解决现有世界动作模型在开放环境中的运动预测错误问题。
RoboSteer 是首个针对行为基础模型(BFMs)的行为可控性基准,涵盖条件、约束与组合三个层级。研究在大规模多模态运动语料支持下,对 9 种现有 BFM 进行了首次大规模实证评估。该工作旨在推动具身智能将人类意图转化为目的性动作的基础研究。
该论文对 pi_0.5 和 GR00T N1.7 两个先进的视觉 - 语言 - 动作模型进行了受控的机制可解释性研究,旨在探究其动作生成是依赖语言指令还是主要依靠视觉线索。
针对强化学习微调后视觉语言动作(VLA)策略泛化性受限的问题,本文提出 DRIVE 方法,通过将成功行为的多样性转化为内在奖励来鼓励更广泛的可行解覆盖。该方法在 LIBERO-Plus、ManiSkill3 和 RoboTwin 2.0 基准上显著提升了域外性能,并在 AgileX PiPER-X 双臂物理平台上将平均成功率从 64.1% 提升至 73.3%,证明了其在真实部署中的有效性。
论文介绍 Juno 框架,利用联合嵌入预测架构(JEPA)构建控制对齐的表征骨干、预测教师及可适应动力学模型。通过动态 CLS 损失转移运动加权补丁动力学,融合当前帧 JEPA 补丁并解耦推理分支以蒸馏未来潜状态用于动作生成。
推荐理由:提出基于动作条件 JEPA 的统一框架,解决预训练与部署中的表征失配问题,在仿真与真机实验中均提升成功率。
SNAP 提出一种生成模内困难负样本的方法,彻底规避了跨模态构造过易或包含正样本、以及模内构造引入匹配正样本这两类失效模式。该方法无需外部生成模型且训练开销低于 10%,在 CLIP 和 FLIP 架构上显著提升了零样本检索与分类性能。
该论文针对视觉语言模型通过裁剪、区域和工具观测进行推理的现象,研究候选者绑定的视觉贡献。作者引入CROSS-Bench基准(含2.8万个决策问题)及RIVET接口,用于保持证据身份与不确定性并控制其强度。
视觉语言动作(VLA)模型虽具强泛化能力,但在部署时常出现状态幻觉,即误以为已达成未实现的机器人 - 物体交互状态。研究分析发现,此类幻觉伴随对任务相关视觉区域注意力的减弱,且稀疏自编码器揭示特定稀疏特征在失败时激活。
TMT 是一种基于 Token Manifold 和潜在状态转移建模的运行时后门检测器,能在未见任务上识别保留良性性能却触发恶意动作的后门 VLA 策略。该方法在十基线对比中达到最先进性能,并通过自蒸馏技术利用冻结的后门策略监督学生模型进行净化,无需额外干净参考策略。项目页面已公开,相关代码与权重许可情况待进一步确认。
TempoBridge 是一个轻量级框架,利用冻结的 VLA 表征根据指令中的节奏线索调制动作执行速度,无需额外的节奏条件化机器人演示或基础策略微调。该框架从上下文 VLM 表征中提取节奏线索,通过因果阶段路由器将其与任务进度对齐,并在执行期间调制名义运动命令。
论文发现扩散策略常因独立动作噪声配对导致路径混合而坍缩至单模态,为此提出 Immiscible Diffusion Policy 作为训练时插件以保留多模态行为。该方法在五个仿真和两个真实人形操作任务中显著提升了非主导模态比例并恢复了缺失的动作模式,且无需修改策略架构或推理流程。
该研究提出基于视觉 token 数量与覆盖内容的理论框架,解释了 VLM 在大图像中漏检小物体的原因及缩放操作的代价。实验表明,局部分解策略在满足特定重叠条件下不会降低召回率,且在某些场景下能提升效果。材料为预印本论文,未涉及真实机器人部署或产品发布。
推荐理由:理论界定了大图像中漏检小物体的根本限制,并证明局部分解策略在特定条件下可无损提升召回率。
该研究提出一种结合视觉语言模型(VLM)的上下文感知自适应喷药框架,使农业机器人能整合作物、农药及天气数据做出优化决策。实验表明该方法在检测作物行时准确率至少提升 30%,并在两种环境中验证了灵活调节喷量与车速以减少飘移的能力。
针对机器人轨迹数据难以扩展的问题,该研究提出 VLAct 模型,通过在多具身异构机器人数据上进行广泛预训练,保留视觉语言先验并鼓励跨具身的共享动作语义。
论文提出 Guided Action Flow (GAF) 方法,在冻结的视觉语言动作(VLA)策略基础上学习紧凑的动作价值评论家,利用其梯度引导反向时间流采样以生成动作。
当前视觉语言动作(VLA)模型常优化语义定位,而可执行操作需要感知几何的空间对齐。本文提出 GeoAlign,一种状态引导的空间对齐架构用于 VLA 策略学习。