DEED:通过演示扩展与执行设计改进细粒度操作
论文介绍 DEED 框架,旨在让预训练的视觉语言动作策略适应 MetaFine 五项细粒度操作任务。该方法通过对同一初始场景生成不同指令的演示,并在不同相机位置和光照条件下渲染物理轨迹,同时保持原始状态与动作目标。
推荐理由:提出 DEED 框架通过演示扩展与执行设计提升细粒度操作性能,在 MetaFine 任务中取得 85.55% 总分。
技术方向
机器人模型、硬件、学习方法和真实部署;区分仿真、遥操作演示与自主运行。
1,139 条精选近 30 天 643 条共收录 4,549 条
论文介绍 DEED 框架,旨在让预训练的视觉语言动作策略适应 MetaFine 五项细粒度操作任务。该方法通过对同一初始场景生成不同指令的演示,并在不同相机位置和光照条件下渲染物理轨迹,同时保持原始状态与动作目标。
推荐理由:提出 DEED 框架通过演示扩展与执行设计提升细粒度操作性能,在 MetaFine 任务中取得 85.55% 总分。
arXiv 发布论文介绍连续动作世界模型(CoAWM)框架,旨在支持跨机器人本体的动作生成与执行频率适配。核心是共享潜在函数空间,通过两阶段学习:首先利用不同本体和采样频率的轨迹进行预训练以获取共享动力学先验;随后连接世界模型骨干网络,使观测、语言指令和当前状态能条件化地预测潜在动作函数。
推荐理由:该预印本提出 CoAWM 框架,通过共享潜在函数空间实现跨机器人本体与控制频率的动作生成迁移。
该论文针对现有方法将短期动态与长期任务目标割裂、且未充分考虑预测未来与当前动作需求相关性的问题,提出了 HiFOR 框架。该方法通过层级依赖掩码联合预测短期状态演化、语义里程碑及最终目标状态;利用结构感知隐式世界建模沿时间、视角和空间维度组织未来潜在表示以支持细粒度检索;并在去噪过程中基于演化的动作表示自适应检索相关信息以指导动作生成。实验在两个仿真基准和六个真实机器人操作任务上验证了有效性。
推荐理由:提出分层前瞻框架,通过层级依赖掩码统一预测短期状态与长期目标,并结合结构感知隐式世界建模实现动作引导的未来信息检索。
TouchBridge 是一个软硬协同设计的框架,用于将人类演示高效转化为机器人领域的训练数据。其核心 Tac-Retarget 方法利用测量的接触信息对齐指尖接触区域并保留空间关系,无需物体网格、姿态估计或物理仿真即可实现跨形态映射。
推荐理由:提出无需物体网格或物理仿真的触觉重定向方法,将人类演示转化为机器人训练数据,在四项任务中平均成功率达 72.5%。
arXiv 论文介绍 Wizard,一种支持实时、精准控制角色动作并能在未见场景与角色上零样本泛化的智能体游戏世界模型。作者构建了包含 750 个场景和 178 个人物的数据集,利用骨架与几何信息作为结构化代理条件视频生成模型,并结合自适应掩码机制优化对齐。该框架显式维护游戏状态,允许玩家自由配置虚拟世界并精细控制角色动作,同时保持视觉质量与玩法一致性。
推荐理由:该工作提出 Wizard 框架,通过结构化代理与智能体控制实现角色动作的实时精确操控及跨场景零样本泛化。
针对现有机器人数据集缺乏细粒度子任务标注且格式不统一的问题,该工作提出 RoboAtom-Data,为多源数据添加统一的、时间对齐的原子动作标注,涵盖 145 万条轨迹和 688 万个技能标记片段。
推荐理由:该工作提出 RoboAtom-Data,为多源机器人数据提供统一原子动作标注与基准,并证明其能提升技能识别精度及分层执行的任务成功率。
针对流基动作生成难以保证关节限位和碰撞避免的问题,本文研究仅通过黑盒可行性预言机访问可行集的设定,提出一种引导的可微分防护机制。该机制在正向传播中利用二元查询修正不安全更新,在反向传播中提取局部边界信息提供约束感知学习信号。
推荐理由:该文提出一种无需可微分约束模型的引导机制,利用二元可行性查询在训练与推理阶段同时保障物理约束满足。
arXiv 论文提出 Don't Risk It Planner (DRIP),这是一个端到端的仅 LiDAR 规划框架,将占用预测与轨迹条件清除及不确定性估计相结合。
推荐理由:提出仅用 LiDAR 的 DRIP 规划器,通过轨迹条件分布风险评估碰撞概率,在密集人群导航中相比基线减少冻结并提升成功率。
论文提出 RoboSeed 框架,旨在解决机器人动作模型选型中仅看成功率信息不足的问题。该框架从能力、下游训练成本、部署成本、本地验证研究价值及复现证据五个维度,利用固定归一化锚点将实证测量映射为 0-100 分档画像。
推荐理由:提出 RoboSeed 多维评估框架,从能力、资源成本及复现证据等维度量化 VLA 与 WAM 模型,为不同预算团队提供选型依据。
论文提出 LOGIV 框架,利用显式任务图连接符号规划、观测验证与具身动作,在现有 VLA 和世界动作模型策略之上运行。实验显示,该框架在不注入干扰时将 RoboTwin~V2 和 BiCoord 基准的平均任务成功率分别提升 10.67 和 15.33 个百分点;在预设扰动下表现优于三种恢复基线;在三项真实机器人任务中成功尝试数从 12/30 增至 17/30。
推荐理由:提出 LOGIV 框架,通过显式任务图与因果局部修复机制,在不增加可训练组件的前提下提升长程机器人任务的鲁棒性与成功率。
针对多阶段轨迹规划中运动学可行入口点识别的计算瓶颈,本文引入方向可达性图(ORM),预计算 6 自由度串联操作臂在 188,873 个工作位姿下的运动学可行性。
推荐理由:提出基于方向的可达性图方法,将机器人穿刺点规划延迟从十余秒降至亚秒级。
针对思考型视觉语言模型在高分辨率图像中遗漏细节的问题,研究提出利用注意力头作为训练信号的对齐方法。该方法让模型在学习推理陈述视觉事实时,将注意力聚焦于关键区域而非背景,从而提升细粒度感知准确率。
推荐理由:提出利用注意力头作为训练信号的对齐方法,在无需多轮推理的情况下提升细粒度视觉任务准确率。
论文介绍 CoRAct 框架,旨在解决现有具身智能模型中推理与动作生成仅隐式关联的问题。该方法将运动指定和路径点作为可验证信号,利用混合 Transformer 架构联合建模推理、动作生成及未来预测。通过在动作噪声空间进行奖励引导的优化,使生成的动作与预期后果显式对齐。实验在 RoboCasa、VLABench 及真实操作任务中均显示出优于强基线的效果,并支持零样本适应新场景。
推荐理由:提出 CoRAct 框架,通过奖励引导优化将 VLA 模型的推理与动作显式对齐,提升任务成功率与泛化能力。
论文指出视觉语言模型将坐标离散化为文本进行自回归解码会忽略空间结构并累积误差。作者提出在冻结骨干网络后附加轻量级几何兼容预测头,直接回归连续的功能框和轨迹关键点。实验显示该方法在 ShareRobot-Bench 上将功能预测 mAP 提升 85%,轨迹预测误差降低超 60%,吞吐量是基准的 3.8 倍,接近 RoboBrain 水平。
推荐理由:该工作证明冻结骨干网络的 VLM 中间层已包含丰富空间信息,通过轻量几何头即可将轨迹预测误差降低超 60%。
UMI-Live 是一套全栈开源的双手通用操作接口(UMI)系统,旨在无需物理机器人遥操作即可采集数据。该系统集成了相机与激光雷达惯性传感、板载计算及电源,无需外部追踪设备或环境内校准。
推荐理由:开源了无需外部追踪的双手 UMI 硬件与软件栈,提供同步 SLAM 重建与 VLA 策略训练支持。
世界动作模型(WAMs)可利用生成的视觉未来条件化机器人动作,但这会增加推理延迟且对某些任务产生负面迁移。本文提出 Utility-WAM 方法,在冻结共享 WAM 检查点的基础上引入残差适配器来修正速度偏差,并采用轻量级预生成门控机制复用反事实结果以跳过部分视频生成。
推荐理由:提出 Utility-WAM 方法,通过残差适配器修正未来诱导的动作偏差并引入预生成门控机制,在保留长程预测优势的同时显著降低延迟与精度任务失败率。
针对图像智能体整合多源材料并完成端到端视觉委托的挑战,本文引入 Visual Commission Bench (VCB) 基准,包含 12 个类别共 600 项任务及三个互补层级。
推荐理由:作者提出 VCB 基准与 V-Protocol 框架,在严格任务成功率上显著优于 SCOPE。
论文介绍了 SONIC-K1,这是据称首个针对 Booster K1 人形机器人的开源全身体动作追踪器。该策略在单块共享 GPU 上从头训练,计算资源远低于原始 SONIC 框架。仿真结果显示其能追踪大部分未见过动作片段并在外部基准测试中表现良好;真实机器人上可追踪上半身及慢速运动,但步态和转向可靠性较低且对动作延迟敏感。代码、策略权重与评估工具已公开。
推荐理由:作者将 SONIC 框架适配至 Booster K1,在单 GPU 上实现全身动作追踪,公开了策略权重与评估工具。
针对 LLM 规划中子目标进度推断不准确导致错误传播的问题,本文提出 ProLoop 框架。该框架通过学习到的状态关系监测器,从期望与执行状态的关联中显式推导子目标的持续、偏离或完成状态,并据此指导执行适应。实验表明,该方法在 AgentBoard ALFWorld 和真实机器人平台上整体成功率提升 12.94%,困难任务提升 15.46%,同时减少环境交互次数 32.3%。
推荐理由:提出 ProLoop 框架,通过结构化状态关系显式评估子目标进度,在 AgentBoard ALFWorld 及真实机器人平台上提升成功率并减少环境交互。
论文提出了 OpenFlyV2,这是一种统一的机载视觉 - 语言 - 动作架构,旨在解决现有系统依赖离板计算或无法在资源受限平台上维持闭环运行的问题。该模型利用共享的视觉 - 语言表示支持语义理解、基于语言的感知、空间推理和连续空中控制,并通过紧凑的动作专家将多模态上下文转换为短时程飞行航点。
推荐理由:该工作提出统一机载视觉语言动作架构,实现零样本仿真到真机四旋翼飞行迁移,代码将公开。