Embodied RAG++:从存在到可行——具身场景中的检索增强生成基准与框架
Embodied RAG++ 提出 E2W-Bench 基准,利用动态混合场景图关联产品手册以评估机器人 - 物体分配。该框架在 Qwen2.5-32B 上达到 0.90、Llama3.3-70B 上达到 1.00 的配对准确率,优于基线且预处理时间最短。论文已接受至 SII 2027,代码与数据许可状态待 arXiv 注册确认。
Embodied RAG++ 提出 E2W-Bench 基准,利用动态混合场景图关联产品手册以评估机器人 - 物体分配。该框架在 Qwen2.5-32B 上达到 0.90、Llama3.3-70B 上达到 1.00 的配对准确率,优于基线且预处理时间最短。论文已接受至 SII 2027,代码与数据许可状态待 arXiv 注册确认。
论文介绍 Concertina 架构,主张将连续轨迹表示、块式生成及物理坐标监督直接置于共享扩散 VLM 骨干网络路径上,而非外挂独立动作专家。该模型仅用 0.21% 的参数实现主动动作投影,在 LIBERO-Plus 基准上达到 85.9% 成功率,CALVIN ABC-D 平均完成链长为 4.142。代码与权重已开源。
推荐理由:该工作提出将连续轨迹表示与认知统一于共享扩散骨干网络,显著降低动作生成参数占比并验证了跨时间步耦合机制。
论文 MessyNav 将现实世界中的路径受阻问题形式化为开放世界的交互式导航任务,提出一种无需特定训练、基于视觉语言模型(VLM)的零样本框架。该框架在规划前通过显式的 VLM 可操作属性推理,决定对障碍物是滑开、拾取还是避让,从而生成高层计划。实验在真实移动机械臂上进行,涵盖室内外环境,结果显示该方法相比最强基线将成功率提升了 27 个百分点,且在大规模离线评估中取得了统计显著的提升。
针对远程服务器运行大型视觉语言动作策略时相机上行链路成为瓶颈的问题,本文提出一种零速率条件的运动学假设上下文机制。该方法利用关节状态、机器人模型和相机标定构建自运动单应性、连杆重投影等假设,对上一帧重建结果进行变换以条件化学习视频编码。
推荐理由:提出运动学假设上下文机制,在带宽受限场景下显著降低视频传输码率并提升策略成功率。
针对预训练扩散与流策略在强化学习适配中计算昂贵且存在噪声别名问题的挑战,本文提出 LNL-MDP 框架并推导桥接方程以对齐噪声空间与动作空间的值函数。在此基础上开发了 LARBRID 算法,通过优化初始分布引导预训练模型在环境中实现最优行为。实验显示该方法在多样化的机器人运动与控制任务上带来最高达 2-3 倍的性能提升。代码已开源。
推荐理由:提出 LARBRID 算法解决扩散策略微调中的噪声别名问题,在多种机器人任务上实现性能提升。
针对视觉语言模型的少样本适应问题,该研究提出 SD-LoRA 框架,旨在平衡细粒度视觉区分学习与部署效率。该方法在训练阶段利用异质图教师模型对高分辨率 ViT token 进行 patch-patch、全局 - 局部及视觉 - 文本关系的建模,并通过隐式蒸馏与原型预测对齐将结构偏置转移至共享的 CLIP-LoRA 骨干网络。
论文提出 JPTA(Joint Prior and Transport Adaptation)框架,将视觉语言模型的归纳自适应重构为对批次条件化语义参考的估计。
小鹏、理想、大众安徽和长城四家车企采用视觉语言动作(VLA)架构推出智能驾驶车型,价格带覆盖 10 万到 50 万元。小鹏第二代 VLA 具备记忆 30 秒与推理 6 秒能力,理想马赫 VLA 2.0 支持园区漫游,长城魏牌应用元戎启行方案强化窄路脱困。各车型功能均覆盖车位到车位场景,为 L4 及物理 AI 演进提供路径。
LeRobot 软件栈 v0.7.0 重构了安装、训练推理及硬件底层,移除 cu128 索引并升级 torch 至 PyPI CUDA 13 构建。新版本将环境配置重命名为*EnvConfig 格式,统一策略数据类型为单精度,并新增 FSDP2/HSDP 并行训练框架与 opt-in EMA 权重平滑功能。
论文提出 FLAG(Flow policy with Latent-Augmented Guidance)方法,旨在解决高维动作空间中重要性加权监督学习易发生权重崩溃的问题。
MM-VeriAgent 通过强化学习让智能体掌握专用工具栈,在无需推理时搜索的情况下显著提升了混合来源多模态虚假信息的检测准确率。研究引入 Tool-Execution Cache 机制预执行候选调用并复用结果,大幅降低了训练阶段的在线工具执行开销。该方法基于 MM-VeriTools 构建,已在 MMFakeBench 基准上验证了策略的有效性与效率优势。
针对扩散基视觉语言动作模型存在的虚假视觉依赖和随机动作生成问题,作者提出无需训练的 Selected Diffusion Noise 方法。该方法将扩散噪声作为可控自由度,先利用反事实负样本集过滤候选动作块,再基于 JerkRMS 选择运动学最稳定的块。实验显示在三个 VLA 策略上,仿真与真实环境中的性能分别提升 8-10% 和 18.33%,有效改善了落地可靠性。
论文提出 InDex 框架,旨在解决预训练视觉语言动作(VLA)模型因平行夹爪接口而隐含多指接触协调的问题。该方法利用归一化孔径信号监督标量抓握意图,并分两阶段学习同步末端执行器 - 意图块及基于扩散的手部解码器。
该论文提出 Back to the Familiar Future (B2FF) 框架,旨在解决视觉语言动作(VLA)策略在操作过程中偏离名义轨迹的问题。该方法利用初始观测生成熟悉的未来状态库,并在检测到失败时通过可恢复性感知选择器选定里程碑作为固定视觉目标,从而将离轨观测映射回熟悉空间。
该图基概念建模框架通过整合功能建模与图论表示,明确表征人机系统中集体工作的关系及环境结构以支持早期协同策略探索。案例研究在灾难机器人领域展示了其如何识别支持灵活管理协调开销的协作能力,从而在设计实施前显式分析协调需求的时间演变。论文当前处于 IEEE Transactions on Human-Machine Systems 审稿中,提供 12 页正文与 5 幅图示。
该论文提出了 MARLIN 框架,通过大语言模型在多机器人系统中提供高层规划并指导策略学习。系统利用语言模型进行机器人间的行动协商以生成计划,并在训练中动态切换强化学习与语言协商模式以提升探索效率。研究在仿真和物理机器人上进行了评估,结果显示该方法在早期训练阶段表现更佳且对最终性能影响有限。代码已开源。
该论文提出通过迭代强化学习实现通用机器人策略在部署阶段的在线自我改进。研究构建了结构化评估体系,系统验证了算法设计选择(如价值估计、策略提取与资源分配)的有效性。结果表明,正确的配方不仅能提升多任务性能,还能增强对未训练任务的泛化能力,且训练任务分布与基于价值的强化学习是实现这一泛化的关键条件。
研究团队推出 MPRBench,这是一个包含 12 个子任务的新基准,旨在评估多模态大语言模型的个性化推理能力。实验发现当前模型在识别个性化概念时存在误差且对无关个人信息敏感。代码与数据已公开,该工作已被 WACV 2027 接收。
该研究在机器人操作仿真中评估了代码策略代理利用执行反馈进行重试的效果。结果显示,固定的查找表选择反馈模板与重采样方法在恢复成功率上相当(Qwen2.5-Coder-7B 在五轮重试内分别达到 85.3% 和 68.3%),且固定任务引导也能实现类似的恢复点估计。
针对视觉语言动作模型(VLA)推理耗时可能超过机器人实时需求的问题,本文对七种推理优化方法进行了全面测量研究。研究在从数据中心 H100 到嵌入式 Jetson Thor 的四类 GPU 上评估了七个最先进的 VLA 模型,分析了 CPU 启动开销、内存带宽和内核效率如何共同影响优化收益,以及单一方法的改变如何影响其他方法的增益。
该论文针对视觉语言动作模型(VLA)因缺乏细粒度感知监督而依赖无关视觉捷径的问题,提出 $A^3$-VLA 框架。该方法利用操作过程产生的视觉变化生成启发式候选区域,并通过离线分割模型细化,结合注意力分配损失与对比学习损失实现任务关键区域的引导。实验表明,该框架在多个基准上使 VLA 主干的平均成功率提升 6.5% - 25.2%,且材料为预印本版本。
推荐理由:针对 VLA 依赖视觉捷径的问题,提出利用交互变化生成感知引导的框架,在仿真与真实任务中显著提升成功率。
该研究针对微调模型易产生环境诱导动作幻觉的问题,提出了 STARR 框架以打破场景与动作的关联捷径,并通过注意力一致性奖励强化动作聚焦。作者构建了 FineActionR&R 数据集,结合时间局部化描述与层级因果推理数据,在 Qwen2.5-VL-7B 基础上实现了 FineActionVLM-R1 模型。
MonoLaDN 是一种针对单目 3D 物体检测的去噪框架,旨在解决仅从图像特征学习几何导致的 ill-posed 问题。该方法在训练阶段利用冻结的视觉语言模型(VLM)生成关于遮挡、深度、尺寸和角度的结构化推理,将其编码为查询并加入噪声,训练检测器重构干净推理以内部化 VLM 的几何先验。
推荐理由:该工作提出利用冻结 VLM 的几何推理进行去噪训练,使单目检测器内化高层语义先验且无额外延迟。
针对机器人操作需记忆被遮挡信息或动作序列的挑战,作者提出三层系统:GPT-6 Astra(System 2)从视觉历史中选择子任务,π0.5 策略执行,Qwen3-VL-4B 监控器检查完成状态。该系统在 RoboMME 基准上成功率达 79.13%,平均调用 3.63 次规划器且耗时 80.84 秒/集,比最佳非神谕基线高 34.62 分。论文已接受于 CoRL 2026 相关研讨会。
推荐理由:提出三层架构系统,在 RoboMME 基准上以低成本调用规划器实现 79.13% 成功率。
论文提出 SleuthVLM,这是一个基于视觉语言模型的智能体系统,无需直接处理音频即可回答视频相关问题。系统将语音转录为文本后,由 VLM 自主分析长达 90 分钟的视频内容。
推荐理由:该研究提出无需直接处理音频的 SleuthVLM,在多项基准测试中超越主流闭源模型,证明智能体能力比多模态对齐更关键。
论文提出 Federated Prompt Learning with Instance-Aware Cross-Modal Representations (FedIA) 框架,旨在解决现有联邦提示学习方法仅支持客户端级个性化而忽视样本间视觉差异的问题。
推荐理由:提出 FedIA 框架,将联邦提示学习从客户端级个性化推进到实例级,通过自适应融合模块提升跨域与标签偏斜下的性能。
该论文提出了 PHIL(Proactive Human-in-the-Loop)框架,旨在通过偏好学习实现主动策略修正与后训练。系统允许操作员在 XR 界面预览策略预测的未来运动并在接管前进行干预;被拒绝的策略预测会与同一状态下执行的修正动作片段配对,用于鼓励策略偏好这些修正。
推荐理由:PHIL 框架通过 XR 界面预览策略预测并允许人工干预,利用偏好学习将修正动作反馈给策略,使扩散策略和 X-VLA 在四项真实任务上的成功率分别提升约 26% 和 19%,且减少了不必要的恢复行为。
ELA 是一种针对机器人模仿学习的新框架,旨在解决动作标注数据稀缺的问题。该方法联合训练潜在动作模型、潜在动作策略和动作解码器,能够从丰富的无动作标签视频演示中学习,并仅需少量带动作标签的机器人演示即可实现下游控制。实验表明,该框架在仿真和真实世界的操作任务中均优于现有的潜在动作基线方法,且通过轻量级 4M 参数动作解码器与现有模仿学习方法无缝集成,无需修改策略架构或训练目标。
推荐理由:ELA 框架联合优化潜在动作表示与解码,仅需少量标有动作的演示即可利用海量视频数据提升策略性能。
论文介绍 MESA 评估框架,旨在解决现有基准狭窄或过于宽泛的问题,实现对语言条件策略泛化能力的精确测量。该框架包含五个评测套件,隔离分布内性能并针对空间配置、物体实例、物体类别和子任务组合四个泛化轴进行诊断。
这篇论文介绍了 NEO-VLA 框架,主张视觉语言动作模型不应依赖固定的视觉编码器输出,而是让图像 token 在骨干网络中随语言共同演化。实验表明,这种架构在多种操作设置和分布偏移下比传统编码器方案更鲁棒,且关键动作信号往往在最终视觉表示之前达到峰值。材料为预印本版本,代码链接已提供。
推荐理由:该预印本提出无编码器架构,证明直接访问视觉计算层级能提升操作鲁棒性。
arXiv 论文 PolicyIK 提出了一种基于强化学习的目标条件化策略,旨在解决机械臂高精度逆运动学问题。该方法利用姿态反馈更新关节位置参考,并通过两尺度误差与特定奖励机制实现毫米级残差消除与大动作保持。
arXiv 论文介绍 Möbius,旨在构建能同时理解、生成和编辑人类运动的统一框架。该模型将扩散过程引入多模态表示空间,使干净运动、噪声运动和文本共同参与共享注意力机制,且直接操作连续帧级原始运动数据,无需离散分词或预训练 VAE。在 HumanML3D 数据集上达到最先进水平,扩展至 17 亿参数和 1700 小时运动数据后证明有效且可扩展。
推荐理由:该工作提出统一运动语言模型,将理解与生成融合于连续帧级表示,无需离散分词或预训练 VAE。
该论文研究了在视觉语言动作(VLA)模型中,是否应将预训练的视觉语言模型(VLM)与动作专家的梯度回传进行隔离。研究发现,当对 VLM 施加动作 Token 监督时,隔离策略在自动驾驶和机器人操作任务中与联合训练表现相当;但在缺乏动作 Token 监督的情况下,联合训练能显著降低轨迹预测误差并提升闭环驾驶路线进展及机器人操作性能。
论文提出 TRACC 方法,通过模仿失败动作中可用的运动轨迹前缀并结合推断的任务结局来完成任务,无需依赖成功的任务轨迹。该方法在 Oops! 数据集的六个野外失败人类任务上进行了评估,证明了在无成功演示情况下从失败尝试中学习的有效性,确立了失败视频作为人形机器人技能学习监督信号的可行性。
针对自然语言指令模糊导致的交互式机器人规划难题,本文提出一种结合大语言模型与贝叶斯优化的方法。该方法利用 LLM 初始化候选形式化规范(基于信号时序逻辑),并通过贝叶斯优化在用户意图空间进行不确定性估计,选择能最大化信息增益的澄清问题。
针对现有 VLA 或世界动作模型在理想条件下成功率接近 100% 但缺乏真实世界鲁棒性的问题,作者提出了 LIBERO-Recover 基准。该基准基于 LIBERO 平台,收集了 SOTA 具身模型的执行失败案例,构建了包含行动重试、行动适应、物体状态恢复和环境恢复四个层级的 1,000+ 场景。
针对 VLA 模型在新机器人部署时因硬件配置差异导致性能下降且微调易引发遗忘的问题,本文提出一种自监督方法,利用零样本 VLA 生成在线交互数据作为额外训练集。实验表明该方法在真实 ALOHA 机器人和 RoboTwin 仿真基准上实现了多任务策略的强泛化:既继承了预训练的蒸馏任务,又提升了专家微调后的指令遵循能力,同时缓解了非微调任务的遗忘现象。代码、检查点和数据已公开。
论文提出 DEED(Data-Efficient Post-Training and Experience-Driven Learning)框架,旨在弥合基准性能与可靠现实操作之间的差距。
推荐理由:提出 DEED 框架,通过数据高效微调与经验驱动学习在单 GPU 上实现 Unitree G1-Edu 机器人超市补货任务。
CLAP 提出一种无需修改骨干架构即可将预训练视觉语言模型转化为视觉语言动作模型的方法,通过在数值动作序列前添加自然语言描述来因果性地条件化精确动作预测。
推荐理由:CLAP 通过因果语言动作预测解决输出分布不匹配问题,在少量训练下实现 VLM 到 VLA 的透明能力迁移。
论文提出了 IntentNav 框架,旨在解决未知环境下的物体导航问题。该方法引入前沿基于的人类意图标注技术,从低层动作推断高层搜索意图;构建包含 BEV 记忆与视角视觉记忆的候选空间,利用 VLM 策略选择最佳目标。在 MP3D、HM3D-v1 和 HM3D-v2 基准上取得了学习类方法的最优成功率,且该导航接口可零样本迁移至轮式、四足和人形机器人,无需额外微调。