DenseHap:基于单目图像的稠密手部触觉估计方法
针对灵巧操作中人手 - 物体交互标注稀缺及现有方法存在背侧误分类、精度不足等问题,作者提出 DenseHap 统一端到端框架。该方法通过三个独立定义的头部,结合预训练三维重建骨架与增强数据集,从单目图像同时实现手距离场识别、全面接触检测、压力分析及手部重建。
推荐理由:该工作提出统一框架,从单目图像同时估计手距离场、接触检测与压力分析,在四个数据集上显著优于现有模型。
技术方向
机器人模型、硬件、学习方法和真实部署;区分仿真、遥操作演示与自主运行。
1,139 条精选近 30 天 643 条共收录 4,549 条
针对灵巧操作中人手 - 物体交互标注稀缺及现有方法存在背侧误分类、精度不足等问题,作者提出 DenseHap 统一端到端框架。该方法通过三个独立定义的头部,结合预训练三维重建骨架与增强数据集,从单目图像同时实现手距离场识别、全面接触检测、压力分析及手部重建。
推荐理由:该工作提出统一框架,从单目图像同时估计手距离场、接触检测与压力分析,在四个数据集上显著优于现有模型。
论文提出 PrismWAM,旨在解决世界动作模型(WAM)将外观与物理构型纠缠的问题。该方法将世界状态分离为语义上下文和受物理规律支配的演化过程,构建了从语义规划到物理卷展再到可执行动作的流水线。
推荐理由:提出将语义与物理状态解耦的 PrismWAM,仅凭 RGB 输入在仿真和真实环境中实现操作性能超越大规模预训练基线。
该论文针对双臂演示中存在的虚假时间调度耦合问题,提出了约束保持时序重组(CTR)训练干预方法。该方法在保留记录的手臂局部传感运动内容同时,对对应片段进行重定时以实现可接受的调度方案并维持任务所需的跨臂约束。
推荐理由:提出 CTR 训练干预方法,在双臂模仿学习中消除虚假耦合,显著提升真实机器人任务成功率。
本文介绍了一种针对水下结构的完整 GPU 驻留多机器人三维检测流水线。给定三角网格和携带短距窄视场相机的 K 个机器人,该流程计算六自由度轨迹以覆盖目标表面比例并最小化总成本。
推荐理由:作者提出了一套完整的 GPU 驻留多机器人水下结构三维检测流程,包含可见性计算与路径规划等核心模块的 CUDA 实现。
该论文针对双类人机器人协作中因形态差异导致的接触界面破坏及技能多样性下的控制保真度下降问题,提出 OmniInteract 框架。通过表面感知重定向技术利用人体与机器人表面的密集对应关系保留交互几何上下文;采用可扩展基于流的交互策略,将全身运动先验与伙伴感知的残差修正解耦,在共享残差动作空间统一两者。
推荐理由:提出表面感知重定向与可扩展流策略,解决双机器人交互中的形态差异与控制保真度难题。
论文针对 VLA 模型执行效率低的问题,提出 PaceVLA 框架,利用共享动作专家构建多粒度解码器,并通过可量化性引导的模式选择与上下文路由机制,在仿真基准和真实世界任务中实现高效且可靠的灵巧操作。
推荐理由:提出 PaceVLA 框架,通过自适应时间量化在保持任务成功率的同时提升 VLA 模型执行效率。
该论文提出了一种利用自主编码智能体直接在代码空间进行策略搜索的新范式,结合了自动化优化与可解释性。研究通过两个案例验证了该方法的有效性:在 2024 年机器人竞速联赛的复杂地图中。
推荐理由:原文展示了由代码智能体驱动的搜索工作流,在两个复杂多智能体场景中均超越了人工设计与专有方案。
论文提出 CondenseVLA,一种具备可学习解码端历史压缩模块的多帧 VLA 策略,旨在解决单纯扩大时间窗口带来的计算冗余与采样僵化问题。该方法利用 VLM 骨干网络缓存的每帧特征,通过可学习查询和多头交叉注意力将观测历史蒸馏为固定数量的 slot token,并辅以正则化项抑制槽位重叠与相关性。
推荐理由:该工作提出可学习的历史压缩模块,在保持计算效率的同时提升多帧视觉上下文对动作解码的利用效果。
论文提出 Vision-Language-Delta-Action (VLDA) 范式,旨在解决现有视觉语言动作模型直接学习观测到动作映射的学习负担过重问题。该方法通过引入紧凑的 Delta 变量作为世界状态变化的接口,利用局部过渡滤波器抑制静态重建偏差,并结合全局过渡锚点与动作流形引导进行优化。
推荐理由:VLDA 提出用紧凑的 Delta 变量替代直接动作预测,通过 LoongForge 框架验证了其在长程一致性与泛化上的优势。
论文提出了 OV-PEAR 框架,用于解决未知工业物体的 6D 位姿、尺度及操作就绪 3D 模型构建问题。该框架通过三阶段流程实现物体分割、外观感知视图检索与显式尺度搜索,并将多视角 RGB-D 证据反投影至物体规范坐标系以验证体素占用率,从而抑制幻觉并生成可信模型。
推荐理由:针对未知工业物体,提出基于多视角观测验证的位姿尺度估计与重建框架,在真实机器人装配任务中实现高成功率。
论文介绍集体经验学习(CEL)范式,通过失败引导的经验检索微调(FERT),利用部署机器人的执行失败上下文从车队共享的成功经验中检索相关轨迹片段作为监督信号更新策略,无需额外收集专家演示或修正动作。
推荐理由:提出利用车队失败案例检索成功轨迹进行策略更新的集体经验学习范式,在 96 台机器人上实现多任务成功率显著提升。
论文提出了 InteractAgent,这是一个用于长程人机场景交互的多模态大模型系统。该系统采用单一大模型同时担任规划者与评估者,并冻结一个运动大模型作为执行器,形成闭环控制架构。
推荐理由:该文提出 InteractAgent,利用冻结运动大模型与多模态大模型构建闭环规划执行反射机制,在 UniHSI 基准上验证了长程交互任务的成功率提升。
针对长序列操作因累积误差和搜索复杂度高的难题,本文提出向量量化世界模型(VQ-WM),将离散长程搜索与连续视觉反馈控制相结合。该方法利用首达时间估计器作为准度量以对齐控制器能力,在汉诺塔物理操作中仅凭短轨迹数据即实现 100% 成功率,并能泛化执行训练集未见的长序列解法;同时在涵盖操作与移动的多项仿真基准上,性能优于最强世界模型。
推荐理由:提出结合离散长程搜索与连续视觉反馈的潜在反馈运动规划框架,在汉诺塔任务中实现仅用短轨迹数据即达 100% 成功率。
论文介绍 DreamCan,一种分层策略,通过稀疏视觉规划将视频模型落地于机器人操作。高层规划器从预训练视频模型适配而来,生成平衡可达性与任务效用的稀疏子目标;低层视觉运动策略负责执行。
推荐理由:DreamCan 利用预训练视频模型生成稀疏视觉子目标,在 LIBERO-Long 任务上达到 91.2% 成功率,并验证了其在真实双手机器人操作中的有效性。
该研究指出通用图像编辑指标无法预测机器人操作的成功率,在 CALVIN 和 SIMPLER-Bridge 基准上验证了大型专有编辑器在多步任务中表现不如小型微调开源模型。
推荐理由:论文证明编辑画质与机器人控制成功率无关,提出基于空间掩码的 SGE-Goal 框架将开源基座模型转化为最强目标生成器。
GazeAct 是一个配备人眼注视信号的实物机器人操作数据集与训练框架,旨在解决视觉语言动作模型(VLA)将指令锚定到正确物体和接触点的问题。研究团队通过屏幕遥操作记录操作员在机器人摄像头画面上的注视信号,获得包含 12000 次演示、覆盖 40 个任务及五个领域的多视图数据,且注视信号以 300 Hz 与图像、本体感知及动作同步。
推荐理由:该工作提出 GazeAct 数据集与框架,利用遥操作记录的人眼注视信号作为软监督来正则化 VLA 模型的视觉注意力,在真实机器人任务中显著提升成功率。
该研究构建了首个基于技术能力的机器人暴露度量体系(ROE/RIE/RGE),通过大模型将 16 项机器人能力与 52 项 ONET 工作能力进行关联评分。研究发现,机器人暴露度集中在建筑、农业等体力密集型领域及低工资职业,且当前指数反映的是技术相关性而非实际部署就绪状态,应视为物理自动化影响工作的上限估计。
推荐理由:构建了首个基于能力的机器人暴露指数,量化了物理自动化对职业、行业及地理区域的潜在影响范围。
本文提出 FLASH-CBF-RRT,旨在解决传统直线转向浪费样本和二次规划控制器计算开销大的问题。该方法通过闭式运动学边界计算碰撞清除时间视界,使规划器能在安全范围内使用恒定速度进行自适应步长转向(障碍物附近短、开阔空间长)。
推荐理由:FLASH-CBF-RRT 通过闭式解计算安全时间视界,在保持 RRT-Connect 100% 成功率的同时将规划耗时降低 3.82 倍。
作者发布了 ContraSafe-VL 数据集,旨在解决视觉语言模型在多模态安全对齐中视觉上下文监督不足的问题。该数据集为固定文本查询构建了对应的成对视觉情境以区分不同安全标签,并提供基于无害性与有用性的响应偏好对。实验表明,使用该数据集训练能提升跨模态安全识别能力并改善安全与过度拒绝之间的权衡,同时保留通用多模态能力。
推荐理由:该数据集针对多模态安全对齐中视觉上下文监督不足的痛点,通过构建成对视觉情境与响应偏好对,直接指导模型平衡安全性与过度拒绝。
针对感知与控制不确定性导致的意外接触问题,论文提出 ContactKernels 方法,利用几何条件力矩测量估计接触位置与局部几何,直接适配采样分布以引导修正运动。仿真与真实机器人实验显示,该方法在预测采样和模型预测路径积分控制下,平均插入成功率提升超 50 个百分点,真实机器人插入成功率从 53.3% 提升至 90.0%,平均插入时间减少 33%。
推荐理由:提出利用几何条件力矩测量估计接触状态,自适应调整采样分布以引导修正运动。