FAH:一种在像素、交互与世界空间中快速准确的手部估计方法
论文提出 FAH(Fast and Accurate Hand Estimation)模型族,基于 SAM 3D Body 手部分支通过微调与特征蒸馏构建。该模型直接预测对应的 2D 和 3D 关节及表面点,拟合 MANO 或 MHR-Hand 网格,并可选估计解剖部位与接触信息(无需物体几何)。
推荐理由:提出 FAH 模型族,通过直接预测 3D 关节与因果细化提升手部估计精度与世界空间追踪能力。
技术方向
机器人模型、硬件、学习方法和真实部署;区分仿真、遥操作演示与自主运行。
1,139 条精选近 30 天 643 条共收录 4,549 条
论文提出 FAH(Fast and Accurate Hand Estimation)模型族,基于 SAM 3D Body 手部分支通过微调与特征蒸馏构建。该模型直接预测对应的 2D 和 3D 关节及表面点,拟合 MANO 或 MHR-Hand 网格,并可选估计解剖部位与接触信息(无需物体几何)。
推荐理由:提出 FAH 模型族,通过直接预测 3D 关节与因果细化提升手部估计精度与世界空间追踪能力。
针对现有方法仅关注全局导航或独立操作而忽视末端抓取导航的问题,本文提出 Last-Mile Grasp-Navigation (LMGN) 统一策略学习模型。该模型引入显式距离与方向可达性表示,并开发语义对齐的分层混合专家策略以建模基座调整、预抓取对准、抓取执行及物体提升等阶段行为。实验在 Habitat 和 Isaac Gym 仿真器上进行,结果表明该方法显著优于现有最先进方法。
推荐理由:提出统一策略学习模型解决足式机器人末端抓取导航难题,仿真实验显示集成可达性表示与分层专家路由能显著提升成功率。
论文介绍 Concertina 架构,主张将连续轨迹表示、块式生成及物理坐标监督直接置于共享扩散 VLM 骨干网络路径上,而非外挂独立动作专家。该模型仅用 0.21% 的参数实现主动动作投影,在 LIBERO-Plus 基准上达到 85.9% 成功率,CALVIN ABC-D 平均完成链长为 4.142。代码与权重已开源。
推荐理由:该工作提出将连续轨迹表示与认知统一于共享扩散骨干网络,显著降低动作生成参数占比并验证了跨时间步耦合机制。
本文提出了一种基于消费级服务器的可复现评估框架,旨在降低接触式机器人操控评估的成本门槛。实验显示,在稀疏数据条件下,三种独立训练的动作分块策略在 780 次 rollout 中零成功,而单步策略成功率介于 2.6% 至 11.8%。研究进一步表明,失败源于训练公式与多步预测机制而非开环执行,为物理策略开发提供了可复用的评估工具。
推荐理由:作者提供了一套基于消费级 GPU 的可复现评估框架,以低成本验证了动作分块策略在稀疏数据下的失效原因。
针对远程服务器运行大型视觉语言动作策略时相机上行链路成为瓶颈的问题,本文提出一种零速率条件的运动学假设上下文机制。该方法利用关节状态、机器人模型和相机标定构建自运动单应性、连杆重投影等假设,对上一帧重建结果进行变换以条件化学习视频编码。
推荐理由:提出运动学假设上下文机制,在带宽受限场景下显著降低视频传输码率并提升策略成功率。
针对预训练扩散与流策略在强化学习适配中计算昂贵且存在噪声别名问题的挑战,本文提出 LNL-MDP 框架并推导桥接方程以对齐噪声空间与动作空间的值函数。在此基础上开发了 LARBRID 算法,通过优化初始分布引导预训练模型在环境中实现最优行为。实验显示该方法在多样化的机器人运动与控制任务上带来最高达 2-3 倍的性能提升。代码已开源。
推荐理由:提出 LARBRID 算法解决扩散策略微调中的噪声别名问题,在多种机器人任务上实现性能提升。
驭势科技在CeMAT ASIA 2026展示升级后的L4级无人驾驶牵引车T30,该车型通过升降式自动脱挂钩装置实现自主倒车、拖斗挂接与脱钩,并与无人叉车协同完成装卸转运。
推荐理由:驭势科技发布升级的L4级无人驾驶牵引车T30及协同作业方案,展示了自动脱挂钩、VLM/VLA技术栈与AI编程交付平台。
戴盟近日公开了其从Daimon-Infinity中筛选出的TacClaw-Infinity触觉数据集,包含1万小时采集、100万条轨迹和10亿帧数据。该数据集支持无本体训练(Zero-Robot Transfer),在π0.5等模型上使花瓶擦拭任务成功率由50%提升至74%,且无需专用触觉架构即可利用现有策略。
推荐理由:戴盟公开TacClaw-Infinity触觉数据集及完整研究流程,验证了无本体数据在跨机器人迁移中的有效性。
该论文评估了采样广度与交互深度对多轮智能体强化学习性能的影响,发现其优势依赖于充足的回合预算且集中于错误恢复与长程韧性,而非均匀提升单步决策质量。作者提出 BudgetMix RL 方法以缓解预算依赖带来的部署风险,并展示了其在多样化执行设置下的鲁棒性。
推荐理由:原文通过多轮交互预算分析揭示强化学习在长程任务中的优势边界,并提出 BudgetMix RL 以缓解部署风险。
针对高质量遥操作数据集收集成本高且硬任务方向性不对称的问题,本文提出一种通过时间反转易任务来辅助硬策略学习的框架。该方法包含闭环数据采集、分层数据清洗(利用运动学先验和评论家引导的优势过滤)以及迭代策略学习三个核心组件。在两个仿真基准和真实机器人实验中,该方法在不依赖大量硬任务遥操作的情况下,相比基于反转和强化学习的基线方法,显著提升了复杂高精度操作任务的成功率并提高了训练稳定性。
推荐理由:提出利用逆向易任务轨迹作为监督信号,通过闭环采集与分层清洗降低硬任务遥操作成本。
该论文提出了 HALO 系统,利用程序化生成的千个虚拟家庭合成视觉 - 语言 - 动作数据以解决人形机器人训练的数据瓶颈。HALO 习得了坐椅子、导航至命名物体、侧身过门等技能,并能编排这些技能完成复合长周期任务。系统在从未见过真实家居的训练下实现零样本迁移,在六个未建图的真实环境中进行了 360 次试验,成功率为 91%。代码与视频已公开。
推荐理由:HALO 系统通过程序化生成合成数据实现零样本迁移,在六个未建图真实环境中达到 91% 成功率。
该研究提出了 Open-HumanScale-50K 数据集及 Open-HumanWAM 模型,这是首个将以第一人称视角的人类视频预训练规模扩展到 5 万小时的完全开放方案。
推荐理由:原文给出了基于5万小时人类视频预训练的开放配方与实验结果,相关团队可据此复现并验证纯人类数据在机器人策略学习中的缩放规律。
该论文提出一种由规划器条件化的空地辅助方法,通过评估地图信息的不确定性对地面移动基线规划(MPPI)的影响来决定何时请求空中协助。当导航性能下降时,系统会在解析后的地图假设下评分相同规划轨迹,选择改进最大的地图层并请求对应的空中测量,融合后重新规划。
推荐理由:提出基于不确定性的空地协同导航方法,在仿真与实地实验中显著降低无人机飞行时间并提升地面车辆到达率。
论文提出 Compounding Physical RSI 框架,解决通用机器人策略在物理环境中因下游瓶颈不可观测、失败轨迹无法提供修正动作及更新共享参数导致技能退化等问题。
推荐理由:提出 Compounding Physical RSI 框架,将执行失败转化为可继承能力,在 RoboDojo-Sim 基准上实现领先性能。
该研究提出利用数据学习修剪螺旋面软体躯干机器人的 adiabatic spectral submanifolds (aSSM) 模型,并将其集成至模型预测控制 (MPC) 框架以解决高非线性形状调控难题。
推荐理由:基于 aSSM 理论的数据驱动模型预测控制方法,在软体躯干机器人的全身体形动态调控任务中显著优于线性基准。
该论文针对视觉语言动作模型(VLA)因缺乏细粒度感知监督而依赖无关视觉捷径的问题,提出 $A^3$-VLA 框架。该方法利用操作过程产生的视觉变化生成启发式候选区域,并通过离线分割模型细化,结合注意力分配损失与对比学习损失实现任务关键区域的引导。实验表明,该框架在多个基准上使 VLA 主干的平均成功率提升 6.5% - 25.2%,且材料为预印本版本。
推荐理由:针对 VLA 依赖视觉捷径的问题,提出利用交互变化生成感知引导的框架,在仿真与真实任务中显著提升成功率。
论文提出 TwinBridge 框架,通过结合 3D Gaussian splatting 与物理仿真构建数字孪生,为现实世界的在线强化学习提供策略初始化及稠密视觉奖励。该框架将基于仿真的监督蒸馏为视觉奖励模型,在真实交互中结合执行历史计算稠密奖励以优化人机协作下的策略。实验显示,该方法在五项实验室操作任务上实现了 98% 的平均自主成功率,且每任务仅需最多 25 分钟的真实世界交互时间。
推荐理由:该框架利用数字孪生提供策略初始化与稠密视觉奖励,在五项实验室任务中实现 98% 自主成功率,仅需每任务最多 25 分钟真实交互。
MonoLaDN 是一种针对单目 3D 物体检测的去噪框架,旨在解决仅从图像特征学习几何导致的 ill-posed 问题。该方法在训练阶段利用冻结的视觉语言模型(VLM)生成关于遮挡、深度、尺寸和角度的结构化推理,将其编码为查询并加入噪声,训练检测器重构干净推理以内部化 VLM 的几何先验。
推荐理由:该工作提出利用冻结 VLM 的几何推理进行去噪训练,使单目检测器内化高层语义先验且无额外延迟。
针对机器人操作需记忆被遮挡信息或动作序列的挑战,作者提出三层系统:GPT-6 Astra(System 2)从视觉历史中选择子任务,π0.5 策略执行,Qwen3-VL-4B 监控器检查完成状态。该系统在 RoboMME 基准上成功率达 79.13%,平均调用 3.63 次规划器且耗时 80.84 秒/集,比最佳非神谕基线高 34.62 分。论文已接受于 CoRL 2026 相关研讨会。
推荐理由:提出三层架构系统,在 RoboMME 基准上以低成本调用规划器实现 79.13% 成功率。
论文提出 SleuthVLM,这是一个基于视觉语言模型的智能体系统,无需直接处理音频即可回答视频相关问题。系统将语音转录为文本后,由 VLM 自主分析长达 90 分钟的视频内容。
推荐理由:该研究提出无需直接处理音频的 SleuthVLM,在多项基准测试中超越主流闭源模型,证明智能体能力比多模态对齐更关键。