Goal2Pixel:将目标定位到像素以实现视觉语言导航
针对连续环境中的视觉语言导航任务,本文提出 Goal2Pixel 方法,将导航重构为可见可通行像素的定位问题,利用图像平面作为统一空间接口替代低层动作预测。该方法引入 ViKeyMem 记忆机制和坐标感知辅助损失,在无需外部数据的情况下,于 R2R-CE 和 RxR-CE 基准上达到具有竞争力的最先进水平,单集 VLM 调用次数减少至原来的六分之一且成功率提升显著。
针对连续环境中的视觉语言导航任务,本文提出 Goal2Pixel 方法,将导航重构为可见可通行像素的定位问题,利用图像平面作为统一空间接口替代低层动作预测。该方法引入 ViKeyMem 记忆机制和坐标感知辅助损失,在无需外部数据的情况下,于 R2R-CE 和 RxR-CE 基准上达到具有竞争力的最先进水平,单集 VLM 调用次数减少至原来的六分之一且成功率提升显著。
针对现有链式思维推理难以编码连续视觉证据的问题,本文提出 ReGuLaR 框架,利用训练时的 ReGFormer 聚焦问题相关物体与关系,在推理阶段无需调用该模块即可生成答案。研究构建了 RGROUNDING-351K 数据集以支持模型训练,并在多个基准测试中取得了优于现有方法的最先进性能。
推荐理由:提出基于关系的潜在推理框架 ReGuLaR,通过训练时显式建模物体关系提升大视觉语言模型的连续证据编码能力。
针对长视野接触型操作中仅模仿成功样本监督不足的难题,该研究提出 RePO-VLA 框架,通过恢复感知初始化、进度感知语义价值函数及价值条件化微调等技术,将对抗性成功率从 20% 提升至平均 75%。材料介绍了 Failure-Recovery Benchmark (FRBench) 基准测试,并在仿真与真实世界双臂任务中验证了该方法的有效性。
推荐理由:RePO-VLA 框架通过区分成功、恢复与失败轨迹,利用价值条件化微调提升 VLA 模型的鲁棒性。
RAPID 机器人智能拆解平台通过集成龙门机械臂、RGB-D 感知及自动螺母工具,在真实场景下实现电动电池包的一键螺丝拆卸。实验对比显示,示教姿态策略成功率达 97%(耗时 24 分钟),视觉伺服为 83%(36 分钟),而基于 GPT-4o-mini 和 Qwen 3.5 的智能体在结构化工具接口下任务完成率达 100%,自动 ROS 服务发现失败率为 43.3%。
论文提出了 MO-Playground 和 MORLAX,旨在解决现有多目标强化学习算法无法有效利用大规模并行化的问题。MORLAX 是 GPU 原生的新算法,配合可 pip 安装的 MO-Playground 环境库,能在几分钟内近似帕累托集,相比传统 CPU 方法快 26-271 倍,相比先前的 GPU 方法快 19 倍,同时学习出更优的帕累托前沿超体积。
论文提出一种名为 AWARE 的无需训练且即插即用的模块,旨在增强视觉语言动作(VLA)模型的可泛化操作能力。该方法利用前馈网络作为键值记忆,通过逐层动作熵指标追踪不确定性,并借助关联记忆查找检索观测证据注入 FFN。
论文介绍了 DreamTacVLA 框架,旨在解决视觉语言动作(VLA)模型缺乏对物理接触感知的局限。该框架采用分层感知方案,结合高分辨率触觉图像、腕部相机局部视野及第三人称宏观视野,并通过层级空间对齐损失统一多尺度感官流。
针对现有移动 GUI 智能体依赖大语言模型逐词解码导致速度慢、显存高的问题,本文提出 GUI-JEPA,这是首个基于联合嵌入预测架构(JEPA)且无需解码器的 GUI 代理策略。
针对 VLA 模型泛化受限于动作标注数据的不足,本文提出 ThinkWorld 框架,将动作思考表示为连接当前与未来状态的离散运动序列(Chain-of-Dynamics)。该方法先利用带标注演示初始化,再通过预测未来状态并与观测结果匹配进行强化学习,使无标注视频能提供直接监督。实验在仿真和真实机器人上验证了有效的人机经验迁移及对新任务环境的泛化能力。
针对传统单臂扰动训练无法覆盖双臂工具使用中滑脱、时序错位及复合失败等新类型问题,该研究在仿真环境中测量了各传感通道对故障原因的识别能力。实验发现当工具手延迟时,被动传感无法区分是否同时存在推力不足,但基于内部状态的 VLM 诊断策略能在两重尝试内通过升级机制修复同等数量的故障。
论文提出了 Ego-CEVR 数据原生框架,旨在将低成本的人类第一视角视频转化为机器人操作能力。该框架包含全局模块和交互模块,分别通过未来预测学习物体关系与任务状态,以及结合腕部观测学习局部对齐与接触线索。系统支持在大规模人类第一视角视频及多样化机器人具身视频上独立预训练全局模块,无需机器人动作标签或成对的腕部观测数据。
针对现有 VLA 模型对物理动力学理解有限且视频世界模型引入高延迟的问题,该研究提出了 PDRVLA 模型。其核心是一个轻量级物理动力学模块,能从视觉语言特征中提取物理 token 以条件化动作生成,无需在线视频生成。
推荐理由:该工作提出利用轻量级物理动力学模块替代在线视频生成,在四个仿真基准上实现了高成功率。
针对现有视觉语言动作(VLA)模型忽视空间约束与动态障碍物的问题,本文提出 VLA-Stem,这是一种无需微调底层策略的轻量级安全机制。该方法将动作块转化为运动参考,利用轨迹级引导保留空间意图,并结合机器人本体感知与局部障碍物信息在推理时自适应调整执行。
论文提出 Adaptive Failure-Informed Learning (AFIL) 框架,解决视觉语言动作模型依赖成功行为克隆导致的脆弱性问题。该方法利用预训练模型在线生成失败轨迹作为自适应负向引导,联合训练双动作生成器以共享视觉语言骨干网络。实验表明,该框架在域内及跨域任务中均能提升成功率与鲁棒性,且参数开销有限。
针对 VLA 与 WAM 社区的争论,本文提出将骨干初始化、未来观测目标及推理机制解耦的 Just Action Model(JAM)框架。该框架利用前瞻性损失训练当前特征预测冻结的未来编码,无需视觉生成即可提升控制性能。
论文介绍 Retrieve to Act (R2A) 测试时扩展框架,将分布外鲁棒性问题转化为几何运动原语检索问题。该方法构建离线时空运动原语图,利用查询依赖的图神经网络在推理时动态定位并检索兼容的未来运动原语,通过门控机制与冻结 VLA 预测动作融合,修正错误轨迹同时保持局部反应性。
该论文对比了 ACT、Diffusion Policy、SmolVLA 和π0.5 四种模仿学习策略,通过在低成本 SO-101 机械臂上执行带干扰物的抓取放置任务(演示量从 12 次增至 200 次),评估了其扩展性。
推荐理由:该研究对比了四种模仿学习策略在低成本机械臂上的表现,揭示了数据量与微调方法对成功率的具体影响及失败模式差异。
LBS(Look Beyond Screens)是一种通过监督初始化 GUI 锚定轨迹并结合强化学习训练视觉语言模型,以支持跨界面任务观察的新范式。基于 Qwen3.5-35B-A3B 和 Qwen3.8-27B 的模型在固定推理设置下,于 PerceptionBench、HR-Bench 及 ChartQAPro 等基准上均超越对应基线。
针对现有视觉语言模型 Token 剪枝存在标准不可靠、策略僵化的问题,本文提出 LearnPrunerV2。该方法在骨干网络每层集成轻量可学习模块,融合内在视觉显著性与外在查询相关性进行重要性估计,并引入预算确定性剪枝以建立硬件友好型调度。实验表明,在 LLaVA-v1.5 上剪除 77.8% 视觉 Token 时保留了 99.8% 原始性能,优于现有最先进方法。
Trace-WAM 是一种世界动作模型(WAM),旨在通过耦合未来视觉预测与动作生成来学习机器人控制表示。该方法引入未来 3D 运动预测作为辅助目标,监督时间点对应、图像平面位移和深度变化以描述操作动力学。
该论文针对人形机器人在不连续地形上的运动控制问题,提出 HC2Robot 框架以解决感知驱动策略中训练端拥有仿真特权信号而部署端仅依赖车载感知的信息不对称。
论文介绍了在 MetaFine Open Competition 中排名第一的视觉语言动作策略 MAI。研究从官方演示出发,针对抓取、推搡和插入等局部失败,通过修订运动轨迹并添加专家续写进行优化,同时保留原始演示用于训练。所有检查点均按指令比较,确保单一指令的收益不会掩盖其他指令的损失。最终提交以 96.66 分获得综合第一。
推荐理由:作者针对 MetaFine 竞赛中的抓取与插入失败,通过局部评估指导演示修正并加入专家续写策略,最终提交 MAI 以 96.66 分获第一。
该论文提出 TOPS(Task-Oriented Priors and Schedules)方法,针对语言条件化的多任务机器人操纵问题,通过构建多模态任务源并调整去噪过程中的插值调度来适应不同运动需求。
推荐理由:TOPS 方法通过调整流源先验与插值调度,在无需修改网络架构下提升多任务机器人操作的成功率与推理效率。
针对 LLM 驱动机器人程序搜索缺乏物理理解的问题,本文提出 RoboAuto 框架,通过分层知识库、场景 grounding 及多阶段自我实验显式处理物体、场景与交互层面的物理约束。
论文提出 HIDRA 方法,通过分层双注意力机制解耦指令级专家检索与上下文依赖的细化,并引入关键几何正则化以稳定表示漂移下的路由选择。该方法在 LIBERO 基准套件上评估,相比无回放和有回放基线均表现更好,在高干扰和语言变化场景下提升显著。材料为 NeurIPS 2026 会议接收的预印本版本,代码已开源。
针对导航 VLA 策略重复调用昂贵语义推理的问题,作者提出 ASPEN 事件触发调度器,利用轻量多模态预测器结合时序观测、语言指令、执行历史和缓存置信度来估计冻结基线策略是否会重发旧指令。
推荐理由:该工作提出基于指令持久性预测的事件触发调度器,在冻结基线策略下实现指令复用,显著降低推理成本并保持导航性能。
针对 VLM 难以直接转录盲文的难题,本文构建了包含 259 张真实世界 Grade-1 和 Grade-2 盲文图像的基准 BrailleBench。研究发现通用模型表现不佳而工具辅助系统效果更佳;通过合成数据训练的 2B 参数模型在 Grade-1 上达到 87% 准确率,Grade-2 为 61%,优于现有系统但存在合成与真实场景间的显著差距。
推荐理由:该文构建盲文评测基准并证明合成数据可提升模型能力,但指出合成验证高分无法保证真实照片识别效果。
SO-101 Bench 是首个针对低成本 SO-101 机械臂构建的仿真基准,支持语言条件约束的空间操作任务。该基准在包含 138 个物体的模拟环境中评估了九种 VLA 及世界动作模型,发现最佳策略成功率近 61%,而结合代码生成与抓取策略的智能体可达 83.2%。尽管仿真成功率高估真实表现,但五类无实机数据训练的策略在物理臂上排名完全一致(Spearman rho = 1.00)。
iPrefBench 是一个用于评估个性化移动使用代理推断和询问能力的基准,运行在包含交互式模拟用户的可执行 iOS 环境中。该基准基于拥有 3,051 次历史活动事件的连贯人设,涵盖 26 个应用中的 130 项未明确定义的用户任务。
推荐理由:该基准在模拟 iOS 环境中评估个性化代理的推断与询问能力,揭示了执行得分高但任务成功率低且难以获取用户必要信息的差距。
本文介绍 JRDB-AVR 基准和参考方法 JRDB-AVR-Agent,旨在解决当前视觉推理评测忽视主动证据获取的问题。该基准基于真实世界 JRDB 机器人数据构建,要求智能体接收问题后主动请求特定时间戳和视角的观测,并评估最终答案与支撑证据的一致性。实验显示现有基线存在答案准确但缺乏依据的现象,表明需要引入主动感知评估。代码与基准已开源。
ActECC 通过运动学引导的可用范围评估与延迟感知重规划调度,解决了边缘 - 云协作中动作分块的时序挑战。实验表明该方法将单步动作延迟降低最多 27.4%,云端调用减少最多 45.1%,并降低了平均执行误差。该研究为具身智能 VLA 模型的实时部署提供了关键优化方案。
针对半监督学习中利用视觉语言模型(VLM)能力时面临的监督与蒸馏损失梯度冲突问题,本文提出双头优化(DHO)方法,为不同信号引入独立预测头以缓解冲突。实验在 15 个数据集上验证了该方法能提升特征学习效果,使小模型学生网络超越教师模型表现,并在 ImageNet 半监督学习与分布外泛化任务中达到新状态最优。代码与检查点已公开。
推荐理由:提出双头优化方法解决监督与蒸馏损失间的梯度冲突,在多个数据集上超越单头基线并实现小模型优于教师模型的效果。
该论文提出 OneDemo 强化学习框架,将演示编辑建模为结构化问题,使智能体学会从稀疏奖励中切换对象中心轨迹段并进行几何适配。该方法在 Meta-World 的 15 个任务上平均仅需 53.7k 环境交互即达 92.7% 成功率;在 DexMimicGen 的 9 个任务上生成演示的平均成功率为 98.4%,基于此数据训练的 BC-RNN 策略在同等规模数据集下平均成功率达 99.6%。
针对视觉推理代理在调用技能和生成答案时的错误问题,本文提出 VisualCoding 方法,通过执行引导将视觉原语组合为求解器并迭代修正,随后对适用输入直接采纳其有效答案。
该论文提出 CognitiveReality 系统,将机器人的 RGB-D 流转化为由算子共享的实时语义索引高斯-TSDF 地图,支持通过配置适配不同平台。系统在定位中断时利用影子跟踪器和关键帧锚定 PnP 维持鲁棒性,并通过验证过的类型化工具将语音和控制器射线映射到持久化场景对象上。
VLN on the Fly 是一种在四旋翼无人机上完全本地运行的模块化视觉语言导航栈,将指令落地、三维规划与控制作为可检查的独立阶段。该栈利用量化 VLM 进行粗粒度图像单元定位,通过深度估计提升为三维目标,使用快速 B-样条规划器生成可行轨迹,并由预训练的强化学习策略跟踪至电机指令。
推荐理由:该预印本提出了一种在四旋翼无人机上完全本地运行的模块化视觉语言导航栈,实现了指令落地、三维规划与闭环控制的分阶段执行。
论文提出了 ForceDelta-VLA 框架,旨在解决现有 VLA 策略在接触丰富操作中难以分解任务级运动与接触调整的问题。该方法利用冻结教师模型的力条件与无学习模式预测构建显式的力修正目标,并引入延迟修正以处理参考动作失配。
推荐理由:提出 ForceDelta-VLA 框架,通过蒸馏力条件动作修正提升接触丰富任务成功率至 82.2%,并降低峰值接触力。
当部署后的视觉语言动作(VLA)策略失败时,人工通常能用一句话描述问题,但并非所有错误都能通过语言修正。该研究对 OpenVLA-OFT 和 pi0.5 在 LIBERO-90 任务上的失效进行了标注与分类,发现仅“执行偏差”模式可通过单句校正解决,其他三类因缺乏目标或计划无法修复。
SHRIMP 是一个允许用户通过自然语言自动生成机器人分层原语计划并进行迭代修订的系统。该系统利用大语言模型将指令转化为计划,并在每次修订中支持用户在仿真环境中验证计划,满意后再在物理机器人上执行。针对桌面厨房任务的实验(n=35)表明,该方法提升了用户的感知控制力并增强了机器人操作的透明度。相关系统视频与源代码已公开。
论文提出 Hi-Token 显式编码坐标轴与位值,用 12 个 token 表示边界框;配合 Hi-GAR 几何奖励优化策略梯度。实验显示该方法在 RefCOCO 等基准上优于原子 token 基线及强专家长模型,且仅用于训练阶段。材料为 arXiv 预印本,未提及同行评审或正式部署状态。
推荐理由:该预印本提出 Hi-Token 坐标编码与 Hi-GAR 奖励机制,在三个 VLM 主干上提升生成式视觉定位效果。