LY-GWM-RoboCasa-Human300:基于图动力学模型的预测引导动作选择技术报告
该技术报告介绍了 LY-GWM-RoboCasa-Human300 策略,该策略结合了经 Human300 微调的 GR00T-N1.5 动作生成器、动作条件化的图动力学模型以及学习到的二元状态奖励评分器。
推荐理由:该报告提出结合人类动作微调与图动力学模型的预测引导策略,在 RoboCasa 基准上实现了优于历史基线的成功率提升。
该技术报告介绍了 LY-GWM-RoboCasa-Human300 策略,该策略结合了经 Human300 微调的 GR00T-N1.5 动作生成器、动作条件化的图动力学模型以及学习到的二元状态奖励评分器。
推荐理由:该报告提出结合人类动作微调与图动力学模型的预测引导策略,在 RoboCasa 基准上实现了优于历史基线的成功率提升。
针对 VLA 模型在多任务环境中技能整合困难的问题,该研究提出 NestedVLA 框架,利用嵌套超网络根据目标任务合成自适应的动作专家参数,并与冻结的基础 VLA 组合,同时保留特定任务的压缩 VLM 残差。
推荐理由:提出 NestedVLA 框架,通过超网络生成任务自适应参数实现技能合并,在 MetaWorld、ManiSkill 和 CALVIN 基准上表现优于模型合并基线。
本文提出 SimpleVLN,一个旨在释放原生多模态大模型(MLLM)在视觉语言导航任务中潜力的架构保持型框架。该方法通过结合单轮决策输入与固定预算的全局 - 局部记忆、利用专家演示及策略依赖的 DAgger 经验构建大规模强化学习任务数据、以及采用渐进式模仿学习至任务级结果优化的流程,实现了高效导航。
SCOPE 利用失败与成功执行作为互补证据,通过状态 API 重放验证编辑是否保留历史成功行为。该方法在仿真与真实任务中均超越最强基线,于 LIBERO-PRO 和 Robosuite 数据集上分别达到 80.66% 和 84.48% 的平均成功率。代码已公开,适用于需平衡策略适应与行为保持的具身智能场景。
该论文针对直接回归关节空间的 VLA 模型在训练目标上与任务成功不匹配的问题,提出 GRASP 框架。方法包括利用可微前向运动学映射隐式动作估计的流匹配损失以监督 TCP 姿态,以及蒸馏自冻结 DINOv3 教师的全局预测查询组与由 Grounding DINO 监督的局部交互查询。仿真与真实机器人实验表明,该框架在长视界双臂任务中表现优异,且在强视觉随机化场景下蒸馏分支更具优势。
InstAgent 提出一种面向异构机器人协作的递归自我改进(RSI)智能体操作系统,通过代理行为树显式建模能力分配、跨机依赖及交接检查。系统利用共享多模态时空记忆支持规划与验证,并从执行反馈中更新协作程序以复用成功修订。在包含三个高层模型的 20 项真实世界多机器人任务实验中,该系统在任务成功率、首次尝试完成率及执行效率上均表现一致提升。
该研究针对视觉语言动作模型与世界动作模型架构差异,提出基于随机核的统一概率化表述框架。框架通过条件输出分布与动作实现核诱导任务策略,并连接预训练与后训练至策略部署。实例涵盖 OpenVLA 和 DreamZero,支持自回归动作 token 预测及联合视频动作生成。
针对多臂协同操作需求,本文提出 VLA-Fabric,在保留各臂局部感知与动作所有权的同时,通过策略间显式交互实现协调。研究系统分析了交互发生位置、同伴信息聚合方式及学习机制,并在不同架构中验证了该原则的通用性。在仿真与物理实验中,由三支或四支手臂组成的团队在所有四项物理任务上,全量交互模式相比独立训练策略将成功率提升了 16% 至 40%。
推荐理由:该文提出 VLA-Fabric,通过策略间显式交互提升多臂协作成功率,物理实验显示效果优于独立训练。
该论文在物理可见度轴上量化了视觉语言模型(VLM)的准确率、内部置信度及弃答行为,发现模型在能见度降至极低水平时仍可能保持高内部置信度,存在显著的盲点。研究基于 1000 张 COCO 场景图像和五个参数规模为 2-5B 的小规模 VLM,分别在雾(遵循 Koschmieder 模型)和水下环境中测试了单目深度图下的物体识别任务。
针对流匹配类视觉语言动作模型(如π0.5)推理成本高的问题,该研究提出用紧凑的 Mamba 动作专家替换原有的 Transformer 结构。通过引入轻量级上下文压缩器处理视觉语言条件信号,该方法在 LIBERO 基准测试中将去噪延迟降低 64.8%,真实部署中降低 58.8%,并在三个独立微调种子下将平均成功率提升 1.08 个百分点。代码与模型权重已公开。
该研究针对视觉语言模型在开放世界场景下无法重训骨干网络的挑战,提出 COMET 框架以应对模态一致性漂移、表征空间干扰及单任务容量不足三大压力。方法上利用冻结教师提供特征参考,通过三亲和力蒸馏保持几何结构,并设计学生感知跨专家蒸馏使路由错误优雅降级;同时分离容量与推理机制,利用上下文多臂老虎机管理专家合并,结合重建路由器在测试时稀疏选择专家。
现有视觉语言导航基准多假设指令可执行且聚焦长程任务,忽视受限于机器人身体宽度的局部通行与避撞问题。本文提出 PASS-VLN 基准与模型,在固定场景、指令及参考路线下,通过改变机器人身体宽度来评估目标可达性:当通道可行时完成指令,遇阻挡则停止。
针对视觉语言模型在场景暗示但实际不存在的物体问题上易产生幻觉的问题,论文提出 Shift-Reliance Alignment(SRA)指标。该方法通过编辑图像中的线索来测量模型对各线索的依赖程度,结合源域误差与目标域线索误导比例,预测并选择最佳模型。实验显示 SRA 能有效降低在 Objects365 和 OpenImages 上的错误率,且优于仅基于置信度或源域误差的选择方法。
推荐理由:提出基于模型对线索依赖度的新评估指标 SRA,能更准确预测目标域表现并降低幻觉误差。
针对流式策略(如π0)难以跨不同机器人本体迁移的问题,本文提出一种轻量级本体分类器引导方法。该方法利用少量校准任务区分源本体与目标本体的成功动作片段,并在推理过程中通过梯度 nudging 调整去噪步骤方向,从而在不更新参数或额外演示的情况下适配新本体。
针对长视界多阶段视觉语言动作策略需要历史观测但全量存储成本高昂的问题,本文提出 RePlanMem-VLA 方法。该方法利用重缩视域执行中连续动作块预测的不一致作为任务相关事件的证据,以此触发有界视觉记忆的更新,并通过机器人掩码写入过滤器抑制冗余帧。
论文介绍 RAX(Robot Agent eXploration)开源框架,旨在通过在线探索扩展机器人智能体能力。该框架利用通用代码生成智能体编写控制代码,无需动作演示数据或人工设计的动作基元。研究在仿真和真实机器人上验证了其在单臂、双手、灵巧操作及人形系统上的表现,结果显示在未见环境中泛化性能随探索规模提升,且自主学习能力优于现有基线模型。
推荐理由:RAX 框架通过在线探索与代码生成实现无演示数据训练,在仿真与真机上均优于基线模型并涌现出主动感知等能力。
无界智航(Xspark AI)完成新一轮融资并发布自研原生触觉多模态模型 Spark-0。该公司提出触觉演进三代论,主张通过全链路原生内建解决机器人“接触之后”的信息处理问题。
论文提出 GRSE(Group-Relative Skill Evolution)方法,旨在解决多智能体协作中仅凭技能存在性分配信用的问题。该方法通过在同一技能库下多次执行任务并对比结果来分配行为信用,结合结构化故障诊断。在 HotpotQA 和 LoCoMo 数据集上,GRSE 在多跳问答等类别上优于 MASkills 基线,且能从植入有害技能的噪声中恢复性能。
这篇论文介绍了 StopLoss,一种用于编码智能体的外部监控器,它通过学习已完成轨迹及其验证结果来识别失败模式。该方法能在不修改执行器的情况下,利用校准后的阈值在单次前向传播中判断是否提前终止任务,从而节省资源。
四川具身人形机器人科技有限公司(EIR)近日完成超 1 亿元 Pre-A 轮融资,资金将用于迭代研发其标志性产品“爱湫”。该机器人采用独创的 3D 超短焦投影面部方案,售价 9.8 万元起,旨在通过软硬一体全栈自研实现从样机到万台级量产的跨越。公司核心团队来自电子科技大学,依托德阳基地预计于 2026 年年底投产,推动产品进入家庭消费市场。
长城汽车旗下坦克品牌宣布 27 款坦克 500 正式开启预订,提供 Hi4-T、Hi4-Z 及燃油三种动力形式。新车智能驾驶升级为 Coffee Pilot 4.0,基于 VLA 大模型与 Thor-U 芯片,搭载 27 个传感器支持全场景 NOA。官方公布限时权益:3000 元订金可抵 9000 元尾款及至高 12000 元选装权益。
针对多模态对齐中固有的模态间隙及持续学习引发的模态间隙漂移问题,论文提出 FPCD 框架。该方法结合快速零空间投影与对比蒸馏技术,在 11 任务 MTIL 基准上实现 Last 87.6%、Average 76.4% 和 Transfer 65.2% 的性能,并在 COCO Captions 和 Flickr30k 上保持更稳定的模态间隙与更强的零样本检索能力。
针对仅依赖专家演示无法从真实部署中提升的问题,本文提出 LoopWAM,一种直接学习全质量谱(成功、次优与失败)的闭环世界 - 动作模型。该方法通过源相关噪声采样统一行为学习与条件动作的世界建模,利用质量引导和质量加权监督保留多质量视频监督并调节动作模仿。
Li Auto Inc 发布了 MachEmbodied-VLM(简称 ME-VLM),这是一个统一视觉语言模型,包含 4B 和 35B-A3B 两个变体,旨在将具身认知与多模态代理能力结合。
论文介绍 LIBERO-CTRL 六轴基准,通过配对每个初始状态下的单轴条件与匹配的同时发生条件,揭示仅靠聚合成功率无法区分的两种对立结果变化:所有单轴成功但联合失败(涌现失效),以及至少一个单轴失败但联合成功(补偿成功)。研究显示在六种策略和三种严重程度下,最多 29.0% 的匹配初始状态会出现结果变化,复合鲁棒性不能仅由单轴成功率表征。
推荐理由:引入 LIBERO-CTRL 六轴基准,揭示单轴评估无法捕捉的联合扰动失效与补偿成功现象。
论文提出了 DroneCATS 基准,用于评估多模态大模型(MLLMs)在控制无人机执行指挥、接近、跟踪和搜索任务时的表现。研究涵盖了从前沿模型到小型开源模型的十种 MLLM,并在仿真与真实无人机上测试了单架及多机协同场景。结果显示,虽然前沿模型成功率最高但受延迟影响难以锁定移动目标,而经过微调的小型模型在真机上表现更优。作者将完全开源该基准。
针对通用视觉语言动作模型在迁移新场景时存在‘静默失败’的问题,本文提出 ValueFormer,这是一种基于冻结 DINOv3 主干的因果 Transformer(3.5M 参数),能在单次前向传播中输出平滑的优势估计价值和用于在线错误检测的尖锐二元价值。
该论文介绍 Robo2Process 框架及 RoboProcessBench 基准,旨在解决视觉语言模型(VLM)作为机器人批评者或奖励生成器时缺乏细粒度过程监督的问题。
该论文重新审视了具身化思维链(Embodied CoT)在机器人控制中的应用。作者构建了包含 97.8 万轨迹、2.263 亿样本和 2592.5 小时数据的大型语料库,发现仅靠高层推理增益有限且显式思维链作为自回归前缀会导致误差累积。
推荐理由:该文提出 ERVLA 模型,通过训练时保留推理痕迹而推理时直接预测动作的策略,解决了显式思维链在自主生成中误差累积的问题。
EPIC-Bench 是一个针对具身智能场景下视觉语言模型(VLM)基础视觉语言定位(VLG)能力的细粒度基准,弥补了现有大模型在具身环境中的评估空白。该基准包含 6.6k 条人工标注的(图像、文本、掩码)元组,覆盖目标定位、导航和操作三个核心交互阶段,并设计了 23 个细粒度任务与多维设置。研究对 80 个领先的 VLM 进行了系统性评估,提供了诊断性分析结果。
针对现成视觉语言模型(VLM)未适配具身域导致视觉语言动作模型(VLA)性能受限的问题,本文提出 EmbodiedMidtrain 方法。研究首先刻画了 VLM 与 VLA 数据分布差异,构建了基于轻量级可学习邻近估计器的中间微调数据引擎,从中筛选出高对齐候选样本构建 EmbodiedMidtrain-1M 数据集。
针对视觉语言导航系统受限于部分可观测性的问题,本文引入 Co-VLN 这一极简且模型无关的框架,研究并发导航的智能体如何通过交换结构化感知记忆来相互受益。实验在 R2R 基准上验证了该框架对基于学习的 DUET 和零样本 MapGPT 两种范式均能带来显著的性能提升,为未来协作具身导航研究奠定基础。
ARMOR 将故障检测与推理构建为基于历史输出的多任务自我修正过程,利用稀疏二元标签与小规模丰富标注进行异质监督训练。实验显示其故障检出率较先前方法提升最高达 30%,LLM 模糊匹配得分下的推理能力提升最高达 100%。该预印本论文展示了在开放-ended 推理及异质监督下的鲁棒性,代码与权重暂未提及开源许可。
arXiv 论文 AIDE 提出一种模仿人类认知过程的双流框架,通过多阶段推理进行决策、加速决策模块负责执行,实现零样本 affordance 分析与模糊指令解释。实验表明该方法在仿真及实机环境中任务规划成功率超 80%,10Hz 闭环连续执行准确率超 95%,优于现有基于 VLM 的方法。
针对复杂工业场景依赖人工规划和启发式仿真的局限,本文提出 IDfRA 框架,结合大语言模型生成装配计划与视觉语言模型评估执行结果,形成规划 - 执行 - 验证的闭环。该系统无需部署前构建精确的世界模型,而是通过在线交互发现物理约束以适应未充分定义的环境。实验显示,该方法在语义可识别性上达到 73.3% 准确率,整体构建成功率为 86.9%,且设计质量随迭代逐步提升。
OS-Helix 是一个端到端训练的多模态计算机使用智能体,旨在统一图形界面操作与代码执行。研究引入应用 - 工件组合构建可验证环境,并提出步长平衡 GSPO 优化算法以防止长代码动作主导训练。
论文提出了 DeciCAD 框架,旨在解决计算机辅助设计(CAD)领域中智能体操作策略的学习问题。研究构建了一个领域原生的 harness,暴露语义 CAD 动作、决策导向观察、环境反馈及持久状态转换。
论文介绍 DocPilot 框架,旨在解决多模态长文档问答中稀疏证据检索难、跨模态推理弱及现有代理工作流僵化的问题。该方法通过页面级导航与细粒度定位编排证据搜索,融合局部视觉检查、代码数值推理与跨模态理解能力;提出基于课程学习的代理训练策略,利用数据驱动的推理轨迹和可执行交互轨迹进行监督,使小语言模型(SLMs)能逐步掌握从单一技能到自适应编排的能力。
该研究对比了监督微调与同策略蒸馏在视觉语言模型中的表现,发现当教师可靠性不足时,同策略蒸馏不仅效果较差,还会继承教师的失败模式并削弱学生模型的完成率。过滤演示的完整性可恢复部分优势。代码已开源。
LIBERO-PeRM 是一个用于具身智能体偏好学习的新基准,旨在解决通用机器人进入家庭环境时的个性化难题。该研究在仿真环境中构建了包含 312 个任务的高质量演示数据集,并提出了可自动评估的偏好满足指标体系。
推荐理由:该基准通过受控仿真区分任务完成与偏好满足,揭示当前 VLA 策略在零样本个性化上的局限及混合训练对运动学习的潜在影响。