InteractAgent:基于记忆增强反思的代理式人机场景交互系统
论文提出了 InteractAgent,这是一个用于长程人机场景交互的多模态大模型系统。该系统采用单一大模型同时担任规划者与评估者,并冻结一个运动大模型作为执行器,形成闭环控制架构。
推荐理由:该文提出 InteractAgent,利用冻结运动大模型与多模态大模型构建闭环规划执行反射机制,在 UniHSI 基准上验证了长程交互任务的成功率提升。
技术方向
视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。
840 条精选近 30 天 569 条共收录 3,491 条
论文提出了 InteractAgent,这是一个用于长程人机场景交互的多模态大模型系统。该系统采用单一大模型同时担任规划者与评估者,并冻结一个运动大模型作为执行器,形成闭环控制架构。
推荐理由:该文提出 InteractAgent,利用冻结运动大模型与多模态大模型构建闭环规划执行反射机制,在 UniHSI 基准上验证了长程交互任务的成功率提升。
针对长序列操作因累积误差和搜索复杂度高的难题,本文提出向量量化世界模型(VQ-WM),将离散长程搜索与连续视觉反馈控制相结合。该方法利用首达时间估计器作为准度量以对齐控制器能力,在汉诺塔物理操作中仅凭短轨迹数据即实现 100% 成功率,并能泛化执行训练集未见的长序列解法;同时在涵盖操作与移动的多项仿真基准上,性能优于最强世界模型。
推荐理由:提出结合离散长程搜索与连续视觉反馈的潜在反馈运动规划框架,在汉诺塔任务中实现仅用短轨迹数据即达 100% 成功率。
论文介绍 DreamCan,一种分层策略,通过稀疏视觉规划将视频模型落地于机器人操作。高层规划器从预训练视频模型适配而来,生成平衡可达性与任务效用的稀疏子目标;低层视觉运动策略负责执行。
推荐理由:DreamCan 利用预训练视频模型生成稀疏视觉子目标,在 LIBERO-Long 任务上达到 91.2% 成功率,并验证了其在真实双手机器人操作中的有效性。
该研究指出通用图像编辑指标无法预测机器人操作的成功率,在 CALVIN 和 SIMPLER-Bridge 基准上验证了大型专有编辑器在多步任务中表现不如小型微调开源模型。
推荐理由:论文证明编辑画质与机器人控制成功率无关,提出基于空间掩码的 SGE-Goal 框架将开源基座模型转化为最强目标生成器。
GazeAct 是一个配备人眼注视信号的实物机器人操作数据集与训练框架,旨在解决视觉语言动作模型(VLA)将指令锚定到正确物体和接触点的问题。研究团队通过屏幕遥操作记录操作员在机器人摄像头画面上的注视信号,获得包含 12000 次演示、覆盖 40 个任务及五个领域的多视图数据,且注视信号以 300 Hz 与图像、本体感知及动作同步。
推荐理由:该工作提出 GazeAct 数据集与框架,利用遥操作记录的人眼注视信号作为软监督来正则化 VLA 模型的视觉注意力,在真实机器人任务中显著提升成功率。
本文提出 FLASH-CBF-RRT,旨在解决传统直线转向浪费样本和二次规划控制器计算开销大的问题。该方法通过闭式运动学边界计算碰撞清除时间视界,使规划器能在安全范围内使用恒定速度进行自适应步长转向(障碍物附近短、开阔空间长)。
推荐理由:FLASH-CBF-RRT 通过闭式解计算安全时间视界,在保持 RRT-Connect 100% 成功率的同时将规划耗时降低 3.82 倍。
作者发布了 ContraSafe-VL 数据集,旨在解决视觉语言模型在多模态安全对齐中视觉上下文监督不足的问题。该数据集为固定文本查询构建了对应的成对视觉情境以区分不同安全标签,并提供基于无害性与有用性的响应偏好对。实验表明,使用该数据集训练能提升跨模态安全识别能力并改善安全与过度拒绝之间的权衡,同时保留通用多模态能力。
推荐理由:该数据集针对多模态安全对齐中视觉上下文监督不足的痛点,通过构建成对视觉情境与响应偏好对,直接指导模型平衡安全性与过度拒绝。
针对感知与控制不确定性导致的意外接触问题,论文提出 ContactKernels 方法,利用几何条件力矩测量估计接触位置与局部几何,直接适配采样分布以引导修正运动。仿真与真实机器人实验显示,该方法在预测采样和模型预测路径积分控制下,平均插入成功率提升超 50 个百分点,真实机器人插入成功率从 53.3% 提升至 90.0%,平均插入时间减少 33%。
推荐理由:提出利用几何条件力矩测量估计接触状态,自适应调整采样分布以引导修正运动。
该论文介绍 DUET 框架,通过仅在机器人接口处结合指令,使下肢运动控制器(基于强化学习)与上肢操作控制器独立运行。实验在宇树 G1 硬件上验证了该方法,展示了与 GR00T N1.7 和 pi0.5 两个不同模型配对的兼容性。
推荐理由:该研究提出 DUET 框架,实现下肢运动与上肢操作的解耦控制,支持在不重新训练平衡策略的情况下更换视觉语言动作模型。
中国电信人工智能研究院与伽马智能联合推出NEXUS,这是一个面向人形机器人的跨地形感知运控基座模型。该模型将广泛的全身行为覆盖与环境感知相结合,让机器人在保留动作特征与意图的同时,根据所处地形自主调整身体姿态与接触。
推荐理由:中国电信与伽马智能联合提出NEXUS基座,通过仿真生成跨地形配对数据并采用两阶段训练,实现人形机器人在保留动作意图下自主适应复杂地形。
该研究将冻结的 GPT-6-Astra 直接作为策略在 RoboMME 基准上取得 92.1% 成功率,超越人类与现有分层系统,为通用大模型替代专用堆栈提供实证。
推荐理由:该研究将冻结的 GPT-6-Astra 直接作为策略在 RoboMME 基准上取得 92.1% 成功率,超越人类与现有分层系统,为通用大模型替代专用堆栈提供实证。
论文提出 Analytic Robot Self-Model,该方法利用多视图图像和关节读数建立高斯外观模型并推断刚体连杆分配,同时通过稀疏末端执行器位姿独立识别度量螺旋轴。
推荐理由:提出无需变形网络或 CAD 模板的解析式机器人自建模方法,通过多视图与关节读数显式学习运动学参数。
针对从人类视频中学习操作技能难以横向比较的问题,作者提出 RoboReel 统一评测基准。该基准包含捆绑的真实世界人类演示视频、仿真机器人轨迹及十个操作任务的评估环境。
推荐理由:提出 RoboReel 统一基准,涵盖真实演示视频、仿真轨迹与十项操作任务,评估视觉语言动作模型在抗干扰及长程任务上的表现。
论文介绍 ADEPT 框架,旨在通过大规模强化学习在多自由度机器人本体上实现从原始视觉 - 触觉感知直接求解长视界任务的 sim-to-real 灵巧性迁移。该方法先在通用物体放置任务上预训练灵巧策略,再以后训练下游策略,解决了多指机器人难以从零发现新行为的问题。
推荐理由:论文提出 ADEPT 框架,通过预训练与后训练结合强化学习解决多指机器人灵巧操作难题,并开放了相关代码。
针对跨具身灵巧抓取任务,该方法将物体表示为几何导向的 3D 高斯原语以保留局部表面几何特征,并将手部编码为预训练描述符以同时捕捉形态学与运动学信息。通过各向异性马氏场建模手物交互,引导共享优化实现跨具身的抓取。
推荐理由:提出各向异性交互框架,在仿真与真实实验中均优于现有基线,支持跨具身零样本迁移。
针对视觉语言动作模型(VLA)在处理需要精确物理交互的接触丰富任务时表现不佳的问题,该研究识别了精度失效和力失效两种主要模式,并提出 FACT 方法进行改进。FACT 通过在后期训练增加低噪声采样以优化精细动作预测,并引入结构化力条件引导动作生成。在涵盖近 2,500 次真实世界部署的评估中,该方法在五类接触丰富任务上的平均成功率达到 66%,优于最佳基线方法的 41%。
推荐理由:该工作通过 FACT 方法在接触丰富任务中将成功率提升至 66%,为理解 VLA 失效模式及改进提供了新视角。
FELT 是一个利用现有成对视觉 - 触觉数据学习接触感知表征的框架,通过冻结视觉编码器和独立的查询解码器为下游策略提供生成的触觉图像或接触感知特征。在四项富接触的真实机器人任务实验中,直接融入学习到的接触感知特征使成功率提升 15-22.5 个百分点,证明了该方法无需真实触觉硬件即可提升操作性能。
推荐理由:该框架利用视觉数据生成触觉表征,在四项真实机器人任务中使成功率提升 15-22.5 个百分点。
该论文介绍 Perceptive BFM 框架,旨在解决现有运动中心基础策略假设参考动作已物理兼容环境的局限。方法包括开发地形一致参考合成(TCRS)技术,通过足点构建、摆动优化等将人类运动片段转化为符合地形参考;训练盲适应参考教师网络并通过目标帧动作对齐迁移至部署端学生模型;学生模型为身份门控 Transformer 追踪器,利用残差路径保留先验并仅在必要时进行局部修正。
推荐理由:该预印本提出将人类运动先验适配至机器人地形感知的框架,通过合成地形一致参考与盲适应教师网络实现策略迁移。
论文介绍 STRIPS-WM 框架,旨在解决机器人仅通过图像序列进行长视界视觉操作时的规划难题。该方法首先从图像中归纳有限抽象转换图,进而学习潜在二元谓词和每个动作标签对应的 grounded propositional 算子,构建具有稀疏前提条件和增删效果的符号化动作模型。
推荐理由:提出 STRIPS-WM 框架,从视觉过渡直接学习符号化世界模型,在视觉重排任务上优于现有基线。
论文提出 Novel Visual References Dataset (NVRD),包含 19,176 张图像,涵盖 90 个不同新颖度级别的视觉概念及扰动版本。研究对比了 3 款开源、2 款闭源模型与 2,400 名人类判断者,发现模型在违背预训练知识时难以通过上下文学习新概念,且存在显著过泛化现象,会将标签扩展至人类拒绝的样本。该数据集作为基准供人机视觉概念学习研究使用。
推荐理由:作者发布全新数据集 NVRD,用于评估模型在违背预训练知识时的新概念学习及泛化能力。