Experience-Handoff RL 实现智能体递归自我改进
该方法在固定 Agentic Context Engineering 架构下,通过梯度更新与经验移交协同优化动作生成、洞察反思及剧本策展行为。实验显示,\acerl{} 在各智能体基准测试中取得优于基线方法的保持性能,验证了同时利用标量奖励与环境信息进行递归自我改进的有效性。
该方法在固定 Agentic Context Engineering 架构下,通过梯度更新与经验移交协同优化动作生成、洞察反思及剧本策展行为。实验显示,\acerl{} 在各智能体基准测试中取得优于基线方法的保持性能,验证了同时利用标量奖励与环境信息进行递归自我改进的有效性。
WISE 是一种统一框架,用于协调视觉语言动作(VLA)模型在后训练阶段何时以及如何利用世界模型的想象能力。该方法仅在交互相关状态调用想象,执行有界的多视角展开,并利用进度与完成信号评估候选未来,从而在减少约 80% GPU 计算时间的同时,在多种操作任务中提升性能并增强真实分布偏移下的鲁棒性与泛化性。材料为 arXiv 预印本,未提及同行评审状态或具体开源代码仓库。
本文介绍 CamChoreo,这是首个针对时空 grounded、组合式相机运动理解的基准,包含 4,229 个带有专家时间标注的多样化单镜头片段。研究提出 CamDistill 方法,将冻结 3D 基础模型的几何知识蒸馏为轻量级相机 token,在无需推理时运行昂贵 3D 模型的情况下,显著提升了视觉语言模型的性能。
论文提出 TEMPO 框架,通过冻结预训练的视觉语言骨干网络,利用两个专用强化学习回路分别更新产生潜在动作条件的语义投影层和低级动作专家。该方法限制潜在动作漂移并允许动作专家从在线反馈中学习。实验在 CALVIN 基准和真实世界操作任务上验证了 TEMPO 优于预训练最先进模型及强化学习后训练基线,且在三个真实任务中达到并保持更高的评估奖励。
该研究提出 SimpleSearch-VL 框架,旨在提升多模态智能体的搜索与验证过程效率及可靠性,而非依赖扩展数据或工具。其核心改进包括利用因子化自适应展开(FAR)优化采样效率以缓解长尾延迟,以及通过思维链进行证据验证推理以确保检索内容与上下文的相关性。
Appear2Meaning 是一个针对图像恢复文物标题、文化、时期等五类元数据的跨文化基准,涵盖 750 件博物馆藏品。在九款视觉语言模型测试中,字段级平均准确率为 36.16%–49.82%,仅含图像输入使文化、时期和原产地的参考兼容性比对照提升 12.6–32.2 个百分点。该基准通过区分字段级与完整记录兼容性并引入人工验证,旨在解决从图像恢复人类归因的技术挑战。
针对长视野任务中现有视觉语言动作模型存在的结构盲视、泛化受限及优化扁平等问题,本文提出一种新型神经符号 VLA 框架。该框架引入神经符号编码器将指令解析为受门控单调阶段指针跟踪的原始计划,利用神经符号求解器基于活跃子指令条件化块状 VLA 策略,并通过分层联合策略优化在演示片段上拟合指针并利用成功过滤的在线学习细化动作策略。
针对视觉语言动作模型(VLAs)在特定环境部署需微调且对相机视角变化敏感的问题,本文提出 AnyCamVLA 零样本相机自适应框架。该方法利用前馈新视图合成模型,在测试时将实时观测的图像虚拟调整为与训练配置匹配的目标视角,无需额外演示数据、策略微调或架构修改。
推荐理由:提出无需微调的零样本相机自适应框架,通过实时合成目标视角图像提升 VLA 在真实场景中的鲁棒性。
针对无人机图像感知中目标密集、背景杂乱且简短提示指导不足的问题,本文提出无需微调的代理框架 AerialVP。该方法通过基于大模型的 Task Engine 动态分析原提示特异性,选择性融合图像语义、空间位置及物体关系等线索以增强提示,从而利用视觉语言模型预训练的对齐与推理能力降低目标歧义。
Bo Han 提出一种两通道受限 GRPO 方法,通过将安全定义为有害协助与过度拒绝的预算率并修复梯度抵消问题,使 Qwen3-VL-2B 在对抗提示下的有害响应从 8.9% 降至 4.8%,同时保持良性查询的低误拒率和基准测试表现。
针对现有模仿学习方法假设演示者同质或接近最优的不现实问题,本文提出 LEOS-IL 框架,从未标记的低质量离线演示中联合学习状态动作最优性评分模型与各演示者的潜在专家水平。该方法将评分模型集成至在线策略优化流程,利用在线 rollout 迭代 refine 评分模型以缓解分布偏移,并在连续控制基准上展示了在高度异构和低质量演示数据下的优越性能。
AROMA 是一种冻结 VLM 的控制框架,通过分离干预位置、几何增益及目标选择等维度解决因果敏感性与激活能量不匹配问题。在 Llama-3.2-11B-Vision-Instruct 上,该方法将未触碰过程数据的精确计数准确率提升 8.00 个百分点,迭代最小努力动作(MEA)达成率从冻结策略的 34.444% 提升至 38.730%。
论文提出了 SPIRE(Situation-guided Primitive Integration for Recurrent Embodiment),这是一个通过动作 - 结果证据推断潜在情境并在线学习特定情境下运动控制器的循环脉冲系统。
针对无人机视觉语言导航(VLN)中因三维运动预测误差导致碰撞的挑战,作者提出 ProtoVis-Nav 框架。该方法迫使模型为预期的下一个动作想象与结果关联的局部视觉表征,通过预测特征原型及其线性组合来估计目标区域的视觉特征,从而促进视觉上下文与航点输出的对齐。实验表明该框架在现有基线上取得了显著改进。
HEIR 是一个用于研究如何 Harness Egocentric Intent for Human-Robot Interaction 的资源,它配对人类的语音、测量的注视和第一人称视频与机器人观测及遥操作导航 - 操作轨迹。
针对语言引导无人机导航长期侧重长程规划而忽视短距物体相对飞行的空白,该工作提出 Flying-on-a-Word 任务及 UAV-Flow 数据集,包含 30,692 条真实专家轨迹和 10,109 条仿真轨迹。团队开发 FlowVLA 模型,利用 Tail-Aware GRPO 方法进行在线后训练,在仿真基准上平均成功率达 93.16%,并在室内外实物场景中验证了物体相对指令的稳健执行能力。
推荐理由:该工作提出语言引导无人机飞行新基准与框架,通过混合真实与仿真数据训练 VLA 模型,在仿真中成功率提升至 93.16% 并验证了实物执行能力。
XBot-Omni 提出 Thinker-Talker-Actor 架构,将全模态范式扩展至机器人肢体运动与面部表情。该模型在七个基准测试中展现了强大的多模态理解能力与自然协调的运动生成效果。研究验证了其直接从全模态输入生成具身多模态响应的能力,实现了从对话交互到物理环境具身通信的延伸。
针对现有潜在动作模型仅通过视频重建导致表征按外观聚类而非动作的问题,该研究引入 SALA 方法,利用人类与机器人视频的语言描述估计语义相似度并建立跨载体对应关系。
推荐理由:提出利用语言描述对齐人类与机器人潜在动作,无需配对数据即可统一监督信号。
ACE-CaP-0 提出一种结合按需演示(Demonstrations on Request)与按需仿真(Simulation on Demand)的智能体配方,旨在通过经验获取并保留可执行的物理技能。
推荐理由:提出 ACE-CaP-0 框架,结合按需演示与按需仿真将八项真实操作任务成功率提升至 92.1%,实现无需人在环的自主执行。
论文介绍 EgoX 框架,利用语义对应的观测与动作模态组织异构演示数据。模型 MXT+ 采用模块化交叉具身 Transformer 架构,为每种观测和动作分配专用 Tokenizer 与专家,共享主干网络并通过训练专用的身体 Dreaming 目标预测未来视觉和本体感觉状态以建模动力学。
推荐理由:该预印本提出 EgoX 框架,通过模态解耦与身体 dreaming 实现跨机器人策略迁移,在 OOD 条件下显著提升任务进度。
论文提出 NSDL(Neuro-Symbolic Division of Labor)框架,针对异构机器人团队的任务规划,将视觉判断与逻辑求解解耦:小参数视觉语言模型负责从场景图像和指令中识别未达成目标并生成计划草图,确定性求解器据此展开为可执行联合计划。
针对机器人操作需同时理解场景结构与任务历史的问题,该研究提出 STVLA 框架,将预训练视觉几何基础模型的表征融入时序记忆,使策略能回忆过去场景结构以辅助当前决策。
针对社交机器人长期存在的对话轮转失败与误解难题,该研究提出需采用多模态双向流技术以降低此类故障频率。论文回顾了提升语音识别与轮转的早期方法,并论证了当前技术路径的有效性。该工作已在 EMF Workshop 及 HRI 2026 会议上展示,代码与数据许可状态待定。
论文介绍 VI AMO 数据集,包含来自 11 个机器人源的 6,600 集视频及动作与任务标注。研究提出 VIM 模型,在未见测试数据上对原子动作和任务的预测相似度分别达到 0.825 和 0.821,且在标签缺失情况下仍保持较高性能。
推荐理由:该工作提出 VI AMO 数据集与 VIM 模型,能从视觉历史解码人类意图,使 VLA 策略在未见环境中接管任务并显著降低遥操作时间。
针对长视界操作中因任务进度和早期尝试结果导致的决策别名问题,本文提出 CGEM 方法。该方法利用评论器筛选能显著改变成功概率预测的事件进行记忆,将正负变化分别编码为进展与失败记录,并在子任务完成后丢弃失败记录以降低成本。在十个子任务的诊断环境中,CGEM 达到 88.0% 的成功率,而传统观察窗口和运动学事件记忆方法成功率均为 0.0%,移除失败记录后成功率降至 1.7%。
推荐理由:提出基于结果导向的评论门控事件记忆机制,解决长视界操作中决策别名问题。
论文提出 H2E 方法,将导航代理(LLM 规划器调用 VLA)的成功会话转化为 VLA 训练数据,使 VLA 在测试时独立导航。该方法保留原始任务指令下的动作并将目标位姿作为奖励,同时屏蔽远离目标的步骤损失,将在 1 米内的访问状态标记为停止点。
论文提出 PERA 方法,旨在解决运动模仿中微调整个策略会干扰现有行为、独立训练每个策略成本高的问题。该方法冻结预训练的混合专家策略,利用任务奖励或教师动作监督训练额外的任务专家及其路由分数。
推荐理由:提出 PERA 方法,通过冻结预训练策略并新增任务专家实现连续全身控制技能复用,在 Unitree G1 仿真中成功完成十项新任务且保留原有动作。
BiScopeNet 是一种无需修改视觉编码器或语言模型的视频大语言模型增强框架,通过 FocusAlign 模块和 MetaLoss 损失函数实现左/右手角色及操作物体的显式识别。该框架基于 BiScopeCap-100K 数据集在多个视频大语言模型骨干上进行了评估,在子动作检测任务中取得了优于对应监督基线的最强聚合性能。相关研究已获 BMVC 2026 接收,代码与数据许可状态待进一步确认。
论文 JustRUA 针对 GPT-6 Astra 在 RoboDojo 上的表现差异,拆解了 harness、动作接口、经验复用与场景几何等设计因素并进行统一测试。
针对现有视觉语言动作模型在杂乱环境中依赖隐式推断几何关系导致碰撞的问题,本文提出 MOSAIC 框架,通过辅助语义定位任务预测目标、目的地及障碍物的角色掩码,并结合三维重建深度构建几何 token 注入动作专家。
推荐理由:该框架通过引入几何与障碍物感知模块,在杂乱场景中将 VLA 模型的成功率提升 5.1%,相关代码与数据集将在接受后开源。
论文提出 PriorSplit 方法,旨在解决视觉语言模型(VLM)智能体在部署时因帧缺失或顺序异常导致记忆失效的问题。该方法通过记录训练集中相邻步骤的出现频率作为外部先验,当模型无法同时看到所需帧时利用该统计信息回答,从而无需额外训练即可保持对任务顺序的记忆。
论文介绍Embodied-Corrector框架,旨在解决具身智能模型仅凭指令规划不可靠的问题。该方法通过注入扰动构建失败恢复数据,采用Judge-Cause-Sub-Fine监督对齐动作、后果与原因。
针对大上下文和长推理痕迹带来的 KV Cache 需求,现有低秩压缩方法易导致预测策略漂移。本文提出 TraceKV,通过统一在策校准、敏感性感知 SVD 及全局秩分配,显著降低推理过程中的策略 KL 发散。
推荐理由:提出 TraceKV 框架,在无需微调下实现 KV Cache 压缩与策略保留,兼顾推理精度与显存效率。
该研究利用πhalf模型在两个动态仿真基准及三个真实机器人任务上,探究了使预训练视觉语言动作(VLA)模型对物体移动保持反应性的关键因素。实验表明最佳预测 horizon 约为 1 秒,且保持轨迹连续的方法优于仅降低延迟的策略,政策适应与执行流水线需共同评估以修复目标失败。
针对自回归视觉语言动作(VLA)模型需完整解码才能执行的动作压缩问题,本文提出 ActionCodec2,这是一种非神经流式分词器,能在保持轨迹重建误差在容差内的同时增量释放动作。
本文介绍了一个集成两个 LeRobot SO-101 机械臂、TurtleBot 4 底盘及 LeRobot-ROS 2 软件栈的低成本移动双臂平台,并以长周期的马桶清洁为案例研究。
推荐理由:该研究在低成本移动双臂平台上评估了多种 VLA 模型,发现 $ ext{ extpi}_0$ 表现最佳,而增强变体未见提升。
论文提出 CARE-Drive(Coupled Alternating Refinement for Ego-trajectories),旨在通过物理专业化与协调机制改进端到端自动驾驶中的轨迹预测质量。
推荐理由:提出 CARE-Drive 方法,通过位置与航向的物理专业化分解及交替优化,在 NAVSIM v1 上提升轨迹预测性能。
针对视觉语言模型表示是否对齐人类自然描述尚不明确的问题,本文提出 GRACE 方法,在特征空间层面学习概念分解结构。该方法通过新颖的训练目标保持概念空间的几何关系,实现语义与通用概念分解。实验表明,GRACE 在多个图像和视频基准上均能产生与人类感知一致的概念分解,且以最小开销提升现有视觉语言模型的可解释性并保留大部分原始性能。
该研究提出了 PreNav 框架,旨在解决室内半静态环境中的开放词汇物体导航问题。系统利用大语言模型将目标与家具的共现关系转化为空间先验,再通过条件扩散模型生成有序的中心线及带状区域作为全局搜索参考,从而避免在每一步都调用昂贵的视觉 - 语言模型。
推荐理由:PreNav 框架利用扩散模型生成全局搜索参考,在无需微调的情况下实现了半静态环境下的零样本开放词汇导航。
该论文针对视觉语言模型在存在干扰图像时的准确性下降问题,通过注意力分析与消融实验发现中层干扰图到文本的连接是主要路径。研究提出一种答案一致性正则化方法,在不直接约束注意力的情况下减少干扰影响,使五个基准测试的循环准确率平均提升 16 个百分点,同时保持单图性能。材料为预印本论文,未涉及真实机器人部署或产品发布。