AgriVLN:面向农业机器人的视觉语言导航方法
针对现有基准未适配农业机器人的问题,作者构建了包含1560个场景的A2A基准,发现长指令导致性能下降。为此设计了STL模块将复杂指令分解为子任务,集成到NavGPT骨干网络提出AgriVLN方法,使成功率从0.33提升至0.47,同时平均导航误差略有增加。
针对现有基准未适配农业机器人的问题,作者构建了包含1560个场景的A2A基准,发现长指令导致性能下降。为此设计了STL模块将复杂指令分解为子任务,集成到NavGPT骨干网络提出AgriVLN方法,使成功率从0.33提升至0.47,同时平均导航误差略有增加。
研究基于 LLaVA-OneVision 骨干,在经典仿真环境下评估了插入或替换 4-8 量子比特电路对视觉语言模型的影响。结果显示,视觉投影器后插入量子层使 Visual Spatial Reasoning 数据集开发准确率提升至 80.7%,而替换最终解码器前馈子层则减少了 1307 万可训练参数但保留 79.22% 精度。
论文定义多模态具身智能体(MMEA)为耦合多模态任务推理与物理动作的系统,提出PAPAV框架以感知、预测、规划、行动和验证五种功能重新审视该领域。研究指出当前评估过度依赖任务成功,而忽视对预测和验证能力的考察,并分析了从电脑使用转向机器人使用时面临的物理约束挑战。
针对部分可观测环境下的序列决策难题,本文提出 ASTEROID 框架,利用学生 - 教师监督学习架构实现高效的测试时探索。该方法让学生先收集同策略上下文,再由特权专家提供条件化动作标签,使学生学会在不确定时搜索、揭示隐藏状态后利用。
推荐理由:提出 ASTEROID 框架,通过不对称同策略蒸馏让学生在部分可观测环境下学会测试时探索,仿真转现实成功率提升 40%。
针对 VLA 模型在复杂长视界技能学习中面临的延迟信用分配与子任务掌握不平衡问题,本文提出 AtomicRL 框架。该方法引入语义感知策略优化(SAPO)以约束跨任务边界的信用污染,并通过瓶颈自适应目标探索(BATE)动态协调采样与局部探索。
推荐理由:提出 AtomicRL 框架解决长视界操作中的信用分配与瓶颈问题,在仿真及真机部署上均优于 PPO。
该报告提出统一闭环操作框架,评估 GPT-6 Astra、Gemini-4 Argon 等六款前沿大模型在 LIBERO-10 基准上的机器人操作能力。实验涵盖三种推理努力水平共 18 种配置和 1800 个评测集次,结果显示 GPT-6 Astra 成功率最高为 44%,Gemini-4 Argon 为 43%。
论文提出了 SP-HLM 框架,旨在解决人形机器人全身操控中高层策略与底层控制的接口问题。该框架采用稀疏姿态驱动机制,结合任务关键的五个体位与学习得到的潜在运动先验来表征空间意图和全身协调。
推荐理由:该工作提出稀疏姿态驱动的人形机器人全身控制框架,通过解耦任务意图与运动协调,在仿真及真机实验中提升了人形机器人的运动跟踪与操作成功率。
论文提出了 DONIC,这是首个联合训练于不同操作类别和人类运动源的双手通用追踪器,并发布了包含 1,575 序列的 BiHOI 数据集。该方法结合近端策略优化与行为克隆,利用对象中心奖励和 Clip-Centered Advantages 等技术,使单一策略能在异构参考下学习协同操作。
推荐理由:论文提出 DONIC 模型与 BiHOI 数据集,解决双手协同操作难题,在未见轨迹上成功率显著超越现有基线。
针对优化重定向管道和未来帧条件引入的计算延迟问题,本文提出 HuMiT 系统,其统一跟踪策略仅需当前帧的根高度、速度及四个稀疏关键点 SE(3) 姿态作为紧凑参考目标。实验显示该系统在头戴设备流与策略输出间实现约 20ms 通信推理延迟,跨不同运动类型的光流延迟中位数为 65ms。研究在宇树 G1 人形机器人上验证了系统,展示了接住抛球等秒级反应能力及协调的行走操作能力。
推荐理由:提出仅需稀疏参考目标的低延迟全身遥操作策略,在 Unitree G1 上实现约 20ms 通信推理延迟与 65ms 光流延迟。
论文介绍 GeoMem-VLA 框架,通过专用几何 token 和冻结的几何基础模型监督,将三维场景理解内化为可更新的时序记忆以支持动作生成。该方法在 LIBERO 基准上平均成功率为 98.9%,在 RoboTwin 干净/随机化设置下分别为 91.10% / 91.24%,并在五个真实世界任务中达到 78.0% 的平均成功率。材料为 arXiv 预印本,未提及同行评审状态或开源代码仓库。
该论文提出了 UniRAP 统一模型,旨在解决将高层语义映射到部分级物理交互的难题。模型通过统一接口令牌机制整合视觉输入、文本指令和可选提示词,并引入统一动作解码器(UAD)联合执行目标检测、部分级功能分割及四自由度交互姿态估计。
推荐理由:该工作提出统一模型 UniRAP,在部分级物理交互推理与可执行感知任务上达到最先进水平。
论文 OMAR 针对家庭整理等无明确指令的开放任务,提出一种结合视觉语言模型与大语言模型的推理管线。系统首先利用分割、深度及多视图关联对未知物体进行标签与属性(内容、包装类型) grounding,随后由 LLM 推断货架潜在组织并生成场景一致的放置排名,最后经几何运动学可行性检查执行。
论文提出一种名为 Post-hoc Epistemic Uncertainty 的方法,通过为单策略模型附加无需梯度更新的核方差头来估计认识论不确定性。该方法在 SmolVLA 上验证了其在任务相关性、主动学习演示获取及向更强监督者转介方面的有效性,且推理速度比双策略集成快约 50 倍。
推荐理由:提出无需训练即可附加的单策略后验不确定性头,在 LIBERO-10 上媲美双策略集成效果并大幅降低计算成本。
针对多模态大语言模型缺乏可靠物理交互规划能力的问题,该研究提出 CausGround 框架,将交互经验蒸馏为可复用的以动作为中心的因果知识。该方法识别动作的前置条件与效果,并将其组织在因子化的世界状态表示中,支持基于当前观测的逆向推理与正向推理以进行多步规划。
论文 FlowVLA 针对稳态倒水过程中视觉与姿态变化不明显导致决策困难的问题,提出将电机动作生成与物理完成度估计分离的框架。共享动作专家负责接近、倾倒和返回,目标无关的估计器融合视觉、关节、腕部力矩及循环力信念历史以估算转移质量,控制器据此触发返回。
论文提出 SERA(Self-Evolving Robotic Agent)框架,将高层 VLM 组织为可编辑 harness 以维护任务上下文并提升规划能力,底层由固定 VLA 执行器提供控制。
针对长视界机器人操作需记忆关键信息但现有方法推理负担重的挑战,PAL 提出分层记忆框架,维护短期视觉缓冲、语义事件记忆及可执行的子任务列表。高层 VLM 将观测转化为子任务列表,执行时选择相关子任务传给低层 VLA 策略。
论文提出了 DepState-JEPA 架构,这是一种基于 V-JEPA 2.1 的双流 RGB-Depth 联合嵌入预测模型。该框架通过共享潜在状态 DepState 连接空间理解与动作条件预测,利用深度作为互补观测并将双模态锚定在度量 3D 空间中。研究通过射线条件读出、物体轨迹监督及校准的前向运动学来塑造状态学习,实验显示其在 RGB 编码器迁移、特征补全、视觉预报及操作成功率上表现更强。
本文研究视觉语言模型(VLM)产生错误的原因,将其分解为视觉表征失败和视觉利用失败两类。作者提出了基于排名的 VELens 探针,用于追踪目标对象及其属性在模型各层的视觉证据,并估计视觉利用失败率。实验显示,该方法能准确诊断错误来源,发现视觉利用不足是 VLM 的主要瓶颈,建议未来改进方向在于开发更好的机制来定位、路由和使用已编码的视觉信息。
推荐理由:提出 VELens 探针量化 VLM 错误来源,发现视觉利用不足是主要瓶颈。
论文 NavBind 提出一种方法,用于诊断视觉语言动作(VLA)导航模型是否真正遵循指令而非仅依赖视觉线索或历史轨迹。研究构建了包含 3,252 个路线分叉场景的数据集,通过对比不同分支下的动作序列、概率分布及注意力变化,发现高导航成功率并不等同于对指令的忠实执行。材料为预印本,未报告真实机器人部署结果。
推荐理由:该工作通过构建路线分叉数据集,揭示导航 VLA 模型高成功率可能未忠实遵循指令的现象。
针对边缘部署的视觉语言模型(VLM)在安全关键系统中的物理对抗鲁棒性问题,该研究提出条件攻击成功率(cASR)作为统一指标,通过佩戴对抗补丁的人体图像测试 VLM 与目标检测器的表现。
论文提出 SMR,一种基于语义条件的流式神经运动重定向方法。该方法将人类动作转换为机器人感知的任务空间目标,利用在仿真中受接触、动力学和执行器约束的物理专家直接跟踪这些目标,并训练单因果 Transformer 对执行后的状态轨迹进行建模。实验表明,相比直接优化和物理修正基线,该方法在保持语义保真度和物理有效性的同时,实现了更优的闭环控制性能。
推荐理由:提出 SMR 方法,利用语义条件物理专家在仿真中生成符合动力学约束的运动轨迹,并通过因果 Transformer 实现流式重定向。
该文介绍 SimPT(Simulation-based Post-Training),一个集成策略 rollout、修正数据采集、策略训练及独立评估的自动化仿真框架,旨在解决人类在环后训练中监督成本高和重复实机评估受限的问题。
针对两轮倒立摆等不稳定平台,传统级联模块存在计算开销与延迟问题。本文提出一种轻量级的状态依赖目标协调方法,通过调整平衡稳定与导航目标的相对贡献权重,无需额外控制层级或辅助控制器即可解决两者冲突。
SLoSa 是一个神经符号压缩与微调框架,旨在训练具备小体积、低能耗和安全意识的机器人任务规划基础模型。该方法利用经典规划器构建安全感知数据集,并通过验证引导的奖励机器进行监督与强化学习微调以对齐安全约束。
该论文提出在偏好条件强化学习中评估奖励、优势、损失及 PCGrad 等不同层级的目标聚合策略。实验结合响应度与效用指标,对比两种人形控制框架发现:早期聚合能产生更广泛的行为响应但伴随其他目标的非预期变化,而晚期聚合虽提升控制精度却牺牲了部分响应性。材料为预印本版本,未报告真实机器人部署结果或具体性能数字。
论文提出 Flexible Feature Editing Pipeline (FLEX),利用大模型根据自然语言反馈对机器人内部表征进行添加、泛化和掩蔽三种迭代修正,以解决仅靠轨迹演示无法解释任务特征的问题。
针对视觉问答中的视觉绑定问题,本文通过固定图像与陈述的对照实验,分析了对象角色、关系等字段标签在不同模型上的差异化效果。研究发现,添加对象角色标签对 Qwen3 有利但对 Qwen2 有害,且保留提示词的优势主要源于避免错误互换;更清晰的提示词虽提升文本匹配但未必改善视觉判断,而直接选择图像中的关系则能部分降低特定提示下的误差。
推荐理由:该研究通过控制变量实验揭示了结构化提示中不同标签对视觉绑定任务的具体影响,为优化多模态模型指令提供了实证依据。
针对人机交互中主动引导与被动跟随两种状态的控制目标差异及现有方法对预设阈值敏感的局限,本文提出一种新型框架。
论文介绍 AW-0 框架,通过统一架构联合建模代码、未来视频和机器人动作,利用代码专家生成可复用的技能程序以连接规划与执行。作者还提出了自动化策展流程来构建技能库。在 RoboTwin 2.0 及物理双手操作任务上的评估显示,该方法在任务性能、语言遵循、语义推理及鲁棒性方面均优于 VLA 和 WAM 基线。材料为预印本论文,未提及同行评审状态或具体开源代码仓库。
推荐理由:该工作提出结合代码规划与视频预测的代理世界动作模型,在仿真及物理任务上优于基线。
论文介绍 Embodied Manipulation Media Adaptation (EMMA) 框架,旨在解决大规模机器人操作数据获取成本高的问题。该框架包含 DreamTransfer 架构,用于生成多视图一致且几何合理的具身操作视频,支持前景、背景和光照的文本驱动编辑并保留三维结构;同时提出 AdaMix 混合训练策略,根据策略表现自适应加权样本以强调挑战性任务。
针对大视觉语言模型(LVLM)幻觉检测中存在的过自信和高延迟问题,该研究提出 SpanCalib-VLM 混合双系统架构。该方法融合 XLM-RoBERTa-Large 与 SigLIP 构建多模态序列标记器,并与微调后的生成式 VLM(Qwen3.5-4B-SHROOM-SFT)结合,通过 Union-Calibrated Fusion 策略利用校准概率重评分候选跨度。
论文提出 DriveVLA-M0,一种带失败感知隐式记忆的检索增强视觉语言动作模型。该方法构建存储失败案例及场景结构表示的记忆池,设计专用检索模型解耦静态道路结构与动态交互以支持结构化检索。
推荐理由:提出带失败感知隐式记忆的检索增强 VLA,在 NAVSIMv1/v2 基准上提升性能且仅增加 26.44ms 推理开销。
论文提出 PAKE 框架,将全身操控分解为部分参考运动生成与底层模仿控制。引入基于大规模数据集训练的运动学归一化流模型以生成多样化参考,高层控制器在潜在空间导航以利用冗余解,底层控制器执行动态一致运动。系统在四足机器人加六自由度机械臂上验证,仿真基准测试优于基线,硬件部署在 24 次任务中实现末端位姿跟踪误差 4.5 cm 与 0.14 rad,同时保持移动跟踪精度。
论文提出了 ZeroDex 框架,该框架通过校准的多视角 RGB 图像将语言指令转化为可执行的 3D 任务计划,实现了无需演示的零样本长程灵巧操作。系统利用 VLM 的 grounding 能力扩展至物理量(如接触点、放置目标),并将复杂指令分解为原子任务执行;在真实世界实验中,其 3D 定位精度和任务成功率优于仅基于单视角的视觉提示及约束基线,且无需针对特定任务或本体进行微调。
论文介绍了一种名为 Flow Control 的方法,用于实时引导视觉语言动作(VLA)模型的动作输出。该方法将用户输入的键盘指令写入 VLA 流匹配动作专家的初始条件,无需重新训练或微调即可实现高保真且符合原分布的引导。
推荐理由:提出无需微调的流控制方法,利用通用输入实时引导 VLA 动作,提升任务成功率与完成速度。
针对视觉语言动作模型在异步推理中因延迟导致动作与场景状态不匹配的问题,该工作提出 DEFLECT 离线后训练框架。该方法利用轨迹数据中预测时刻不可用但记录可用的执行时刻观测值,构建时序对比以生成偏好监督信号,从而优化策略对陈旧输入的适应性。
CounterCount 是一个包含事实与反事实图像对的诊断数据集,用于揭示视觉语言模型(VLM)过度依赖先验知识而非视觉信息的偏差。在 16 个模型(含 14 个开源权重和 2 个闭源)的测试中,平均准确率从事实图像的 91.6% 降至反事实图像的 49.5%,主要错误源于匹配标准计数数的回答。
针对大视觉语言模型部署时显存与算力需求高的问题,本文提出一种自下而上的级联知识蒸馏(CKD)框架。该方法受人类教育体系启发,引入一个或多个中间容量的教师网络,逐步将学生网络提升至下一层级,再由更高容量的教师接管,以缓解因师生容量差距过大导致的知识转移效率下降。
这篇论文提出了一种无需训练的代理循环,通过给视觉语言模型(VLM)提供‘手指’标记等工具来模拟儿童的认知行为,以评估其计数能力。研究发现 VLM 的精确计数范围存在显著差异,且标记干预虽能留下可审计的推理痕迹,但并未显著提升小数量照片的计数准确率。研究还揭示了模型在遵循遍历顺序与修正自身答案方面的解离现象。