HINT:面向代理机器人操作的意图初始化框架
针对当前视觉语言动作(VLA)模型在密集视觉输入下易受视觉捷径干扰而偏离人类目标的问题,论文提出 HINT 框架。该框架借鉴人类操作原理,仅在模式转换时进行稀疏语义推理以解决子任务与目标,随后通过多视图定位和视觉跟踪维持承诺。
针对当前视觉语言动作(VLA)模型在密集视觉输入下易受视觉捷径干扰而偏离人类目标的问题,论文提出 HINT 框架。该框架借鉴人类操作原理,仅在模式转换时进行稀疏语义推理以解决子任务与目标,随后通过多视图定位和视觉跟踪维持承诺。
针对视觉语言模型(VLM)无法从图像恢复三维几何的问题,本文提出一种可检查的 3D 几何中间层方法,建立无模型渲染基准以区分模糊视角、信息丢失或推理缺陷。
DispatchRAG 是一个结合 RAG 检索机制与大语言模型推理器的决策支持框架,旨在利用视觉语言模型(VLM)生成符合日本交通事故响应协议的应急响应建议。
针对现有机器人模仿学习策略仅依赖当前或短时观测、难以解决长时程任务中历史依赖性模糊的问题,本文提出 DSSP 方法。该方法利用状态空间模型(SSM)的连续序列建模特性构建历史编码器,将完整观测流压缩为紧凑上下文表示,并通过动力学感知辅助目标优化以保留未来状态演化关键信息。
推荐理由:提出全历史编码的扩散状态空间策略,在仿真与真实操作中实现更小模型尺寸下的最先进性能。
Xuan Gong 等人提出 RAPO(Reflection Anchor Policy Optimization),一种基于 GRPO 的策略优化方法,旨在解决长链思维推理中视觉信息衰减问题。
LLM-Flax 利用大语言模型为 Flax 规划流水线自动生成规则、处理故障并评分物体,在 MazeNamo 等八个设置下使平均成功率提升约三个百分点。该研究通过离线生成与运行时引导验证了可复用规则的效能,同时指出信息质量与推理效率是主要挑战。论文已提交至 arXiv(编号 2604.26569),代码与权重暂未提及开放许可。
针对人机协作中人类策略随 AI 行为动态调整的挑战,本文提出 NestRL 方法,将任务建模为交互式部分可观测马尔可夫决策过程(I-POMDP)。该方法通过在各级别对自适应智能体进行联合训练,使智能体学习有限层级 I-POMDP 的解,从而避免收敛于仅适用于特定搭档的不透明协调策略。
针对视觉语言模型在推理时可能复述敏感信息的问题,本文提出了 Cross-Modal Attention Guided Unlearning (CAGUL) 框架。该方法利用跨模态注意力机制识别低重要性的视觉 token,通过外部模块编码遗忘指令以阻断隐私泄露,同时保持模型的参考行为与效用,且无需修改预训练参数。
该方法结合预训练抓取模型与视觉语言模型,利用语义推理能力融入特定任务需求。在五种查询策略评估中,整体成功率绝对提升最高达 36.9%,显著优于基线方法。研究证明了 VLMs 增强任务导向操作及人机交互的潜力。
论文提出 UNITE 框架,通过共享锚点一比特分解技术将多个具身视觉语言模型(VLM)专家整合为紧凑的混合专家模型。该方法在保持各专家前馈块路由能力的同时,仅用不到 0.6M 参数完成微调,显著降低存储占用。实验显示该模型在导航与三维场景理解基准上优于单一专家及多种静态合并方法,且相对于未压缩 MoE 几乎无损。
推荐理由:提出 UNITE 框架,通过共享锚点一比特分解将多个具身 VLM 专家整合为紧凑混合专家模型,在保持存储效率的同时提升导航与场景理解能力。
该研究通过受控实验发现,在需要读取像素数值的任务中,视觉语言模型的报告仍会随激励目标发生偏移,且图像模态下的合规性低于文本模态。
针对视觉语言模型在遮挡导致的部分可观测性问题上深度歧义难解、性能随规模下降的瓶颈,本文提出 VLM-as-perceiver 范式,将 VLM 角色限定为局部感知,由外部求解器负责跨视图证据融合与规划生成。
Vision-Language-Action (VLA) 模型在微调后常出现灾难性遗忘,导致原有视觉与语义理解能力下降。本文提出一种无需重训的参数合并方法,提取任务向量并通过奇异值分解控制保留的适应程度,实验表明该方法能同时保持动作预测和视觉语言能力,且表现优于现有基线。
推荐理由:提出通过奇异值分解合并 VLM 与 VLA 参数,在不重训情况下恢复视觉语言能力并优于现有基线。
现有方法多将视频转为截图轨迹,未直接利用丰富信息。本文提出 VEX 框架,基于 watch-act-rewatch 范式从教程视频中提取指导并自我验证。实例化模型 video-SALMONN-VEX 在 OSWorld 上任务成功率相对提升 22%,其生成的指导使 Gemini-3.5-flash 性能相对提升 10%。
ECOD 通过在校准教师与学生在匹配条件下的成功概率后验,将监督分配至任务、轨迹及回合层级,仅对失败学生轨迹施加直接监督。该方法在 ALFWorld 和 WebShop 基准上,配合 Qwen2.5-1.5B-Instruct 与 Qwen2.5-7B-Instruct 模型,使未见任务成功率相对提升最高达 4.06%,平均配对相对增益分别为 6.20% 和 7.05%。
arXiv 论文《ReVision: Selective Intrinsic Reasoning for Tool-Augmented, Reasoning-Intensive VQA》提出一种无需训练的测试时方法,允许多模态大语言模型在调用外部工具(如搜索、代码执行)的同时,选择性地进行无工具的图像重审与证据整合。
该研究提出 ScaleVLA,通过将 552B 参数的 DeepSeek-V4.1-Flash 骨干连接可训练的动作 DiT,系统对比了从 2B 到 552B 不同规模 VLM 在机器人基础模型中的表现。
推荐理由:该报告系统验证了将前沿大模型作为 VLA 骨干的可行性,展示了在样本效率、泛化能力及灵巧操作上的显著优势。
该论文研究了视觉语言模型(VLM)在描述图像时决定观察顺序的内部规划机制,将其分解为绑定头、进度信号生成、选择步骤和注视头四个部分。研究通过在 Qwen3-VL 模型上进行合成视觉检索任务的因果修补验证了各组件的有效性,并证实该机制在不同输入格式、自然照片及语言中均成立,且存在于从 2B 到 32B 的所有模型规模中。
论文指出视觉语言模型在跨图像匹配点或物体时常失败,即便答案隐含在隐藏状态中。研究在 Qwen3-VL、InternVL3.5 和 Gemma-3 等模型上验证了两种失效机制:一是携带比较信息的注意力头未将答案读出,二是语义对应存在于视觉 token 但未传递至输出层。
推荐理由:研究发现跨图像比较失败源于特定注意力头未读出答案,通过重分布注意力或微调查询键投影即可修复。
DuoFlow 是一种双流潜在流 Transformer,通过共享噪声水平和统一秒级时间坐标联合去噪语音与动作。该模型利用模态特定残差连接器注入结构化条件,并采用逐层双向跨模态注意力协调生成,同时结合单调音素路径强化时序建模。研究构建了 MotionSpeech 基准以支持对运动层级、身体部位及发声风格的显式控制,实现了高质量且指令一致的同步序列合成。
论文提出 ReuseMem 方法,旨在让协作机器人利用已观察到的视觉经验来支持新的操作请求,即使这些具体用途在观察时未知。该方法独立记录视觉特征,检索互补证据并结合当前场景,通过轻量级动作接口实现复用。实验涵盖四个仿真任务和两个物理场景,结果显示该方法在基准任务上的联合目标完成率比均匀记忆策略提升 24.5 个百分点。
推荐理由:该工作提出一种通用视觉记忆机制,支持同一记忆服务于多种后续操作目标。
论文提出了 LightAct 框架,旨在将交互经验转化为个体决策的引导,解决轨迹结果模糊与无指导探索重复的问题。该方法将交互片段总结为经验条目并整合为特定游戏的技能,利用共享冻结策略对候选动作进行短步长回滚比较,基于环境报告的平均得分增益生成相对动作奖励作为强化学习监督。
论文提出 WiTac,一种预训练的编码器,旨在将触觉信号与手部运动及腕部视角深度融合,以生成更准确的接触表征。该模型在约 300 小时的 SharpaDex 数据上预训练,并作为条件输入下游视觉语言动作(VLA)策略(如 GR00T N1.7 和 pi_0.5)。
针对视觉语言动作(VLA)模型推理成本高且注意力分数无法直接衡量 token 对动作影响的问题,该方法定义动作敏感度并解决在线评分导致的剪枝图锁定偏差。通过离线计算全图敏感度并蒸馏至不足 30 万参数的学生模型,在推理时无需反向传播即可进行评分引导的多样性选择。
推荐理由:POKE 方法离线计算全图动作敏感度并蒸馏至小参数学生模型,在 LIBERO 等基准上实现高效剪枝与高成功率。
预训练的视觉表征虽富含时序信息,但有效整合到现有视觉语言动作(VLA)策略仍具挑战。本文提出 FAVR,一种轻量级框架,通过线性测试时训练(TTT)维持紧凑的时序视觉状态,并在基于流的动作生成过程中检索动作条件的视觉特征。
EviBridge 框架将冻结的 V-JEPA 2 编码器特征映射至语言解码器,用于工具交接任务中的状态与工具联合预测。在 FuGIBench 基准测试中,最佳变体整体得分达 0.6448 和 0.5892,显著优于各自的任务自适应原生基线(0.2178 和 0.5327)。该成果涵盖目标交接、长时间等待及取消请求场景,验证了预测视觉证据对交互决策的价值。
论文提出 ACiT(Proprioceptive-Prior Action Chunking with Inverted Transformers),旨在解决现有方法将本体感知与视觉同等条件导致信号被淹没的问题。
针对长视野视觉语言导航中指令追踪困难及执行器在部署时遭遇策略诱导的状态偏移问题,本文提出 LeaP-VLN 系统。该系统耦合进度感知执行与独立进度验证,通过计划 - 执行 - 验证 - 恢复的闭环机制处理子任务完成确认与路线偏离后的双阶段恢复。
本文提出一种规则引导的 VLA 框架,将英国公路守则的部分条款形式化为可执行的一阶逻辑规则,结合专家演示监督微调和强化学习优化策略。在 CARLA 仿真器离线评估中,该方法相比仅基于监督学习的基线,显著提升了动作预测准确性和编码规则的合规率,最佳变体将整体规则通过率从 92.9% 提升至 97.6%,且在评估样本中未观察到违反路权优先级检查的情况。
该论文研究了驾驶视觉 - 语言 - 动作(VLA)模型中导航指令的收集与评估方法,区分了行动前发出的前瞻性指令和行动后标注的回顾性标签。作者开发了 ADVLAT-Engine 同步语音指令、道路场景视频和车辆轨迹,并在 48 条回放路线上对比了三款导航应用。
该系统基于 ROS2 架构,结合 Grounding DINO 与 Nav2 栈,在 Gazebo 仿真环境中实现了无需特定训练的端到端语义导航。实验显示 TurtleBot3 机器人成功执行了全部测试的自然语言指令并探测到五个目标中的三个,但性能受限于检测不确定性与深度定位误差。研究证实轻量级 CPU 架构具备可行性,同时揭示了开放词汇感知与传统导航管线集成的当前局限。
针对人类视频数据缺乏显式动作相关表征的挑战,本文提出 LSA 分层预训练框架。该方法通过 Lift 阶段将 2D 观测自适应对齐至 3D 基础模型中间表征以获取稠密表示;See 阶段引入深度图重建与手部区域提示以增强几何感知与交互热点关注;Act 阶段实现鲁棒的机器人操作。
该论文研究了针对视觉语言模型的幻觉缓解对齐流程,利用 16,143 条归一化反馈记录和 8,386 对偏好数据进行实验。研究对比了直接训练、零样本及两样本判定的严重性间隔变体,结果显示零样本变体将 Object HalBench CHAIRs 从 53.00 降至 36.00,AMBER-Hal 分数显著下降且视觉覆盖减少,同时基模型保留了最高的有效 POPE 对抗 F1 值。
针对预训练机器人策略在困难任务中失效的问题,该研究提出 ReRead 方法,在冻结主干网络的前提下,利用校正器重读当前及前两个缓存的表征以预测动作残差。该方法无需图像输入,仅基于 RoboTwin 2.0 任务的离线演示进行训练,额外延迟仅为 4.17%。
针对流式视觉语言动作(VLA)模型在使用同策略强化学习时存在的推理延迟高和采样随机性低的问题,本文提出 VLA-SSD 方法。该方法通过布朗路径条件单跳生成器,将预训练的流匹配动作头蒸馏为随机一步策略,并推导条件动作密度以支持基于似然比的后训练算法。
论文提出了 NF-VLA 模型,结合条件自回归归一化流与基于分数的动作细化技术,利用单一学习到的密度支持策略训练、动作生成及修正。该模型在 LIBERO 基准的四个标准套件上达到 98.35% 成功率,在 LIBERO-Plus 上达到 72.6%,且无需机器人预训练或额外微调。
推荐理由:该工作提出基于自回归归一化流的 VLA 基线模型,在 LIBERO 基准上实现高成功率且无需额外微调。
OntoCBF 将领域本体与动力学特征编译为单智能体二次规划的安全滤波器,利用描述逻辑在线推导约束以覆盖新类。仿真显示,面对未见类别时传统滤波器违反安全率达 89-100%,而 OntoCBF 在含 32 机器人场景中仅违反 20-70%。结合多智能体 PPO 策略后,不可行二次规划率降低 18-41%,且所有违规均源于冲突而非能力高估。
论文提出 ReGround 方法,旨在解决视觉语言动作(VLA)模型在部署后因执行器变化(如重新安装、机械磨损或指令延迟改变)而失效的问题。该方法保持 VLA 冻结,通过任务无关的电机 babbling 学习部署机器人的动力学,并在检测到偏移时追踪策略意图运动以重校准。
论文介绍 RoboKit,这是一个基于 GPU 并行多种子求解器的高性能通用工具包,旨在加速机器人学习中的并行可微分优化。材料指出其在七个任务上比特定任务基线快 2-60 倍,利用混合表示法在 2.97 秒内优化了 4096 次抓取,并将优化成本转化为策略蒸馏和强化学习的训练优势,使蒸馏策略精度相当时速度快 9-240 倍。
论文提出 Cleanly-DINO 模型,旨在解决如清洁等由视觉状态变化定义的任务表征问题。该方法在给定任务相关区域掩码和冻结 ViT 特征的基础上,拟合投影以隔离任务空间并构建进展度量指标。