跳到正文
10月6日周二
  1. arXiv · 机器人与计算机视觉78

    面向细粒度物体操作:基于 SAM3 引导的视觉运动策略与持久记忆学习

    针对细粒度物体操作中场景级视觉条件缺乏明确选择、类别级指导难以区分相似物体的挑战,本文提出一种结合持久物体记忆与聚焦视觉条件的框架。首先引入 FO Memory-driven SAM3(FOM-SAM3),在有限多视角配准图像中学习可复用的细粒度物体记忆 token 并冻结 SAM3;其次提出聚焦空间 - 外观编码(FSAE),融合物体内部外观特征与显式边界框以条件化动作策略。

    推荐理由:提出 SAM3 引导的视觉运动策略框架,利用持久记忆与聚焦视觉条件解决细粒度物体操作难题。

  2. arXiv · 机器人与计算机视觉78

    DEXTERA:通过真实到仿真再到真实的框架实现单图可部署灵巧操作

    DEXTERA 是一个自动化的真实到仿真再到真实框架,能将单张 RGB 图像转化为跨多种策略架构的可部署灵巧操作策略。该框架包含场景因子化、度量对齐与形态平衡校准、可扩展任务构建及共享多模态接口四个阶段。实验显示其在视觉保真度与几何重建上优于生成式基线,仿真训练的策略可在真实机器人上零样本部署,且联合训练将平均物理策略成功率从 29.2% 提升至 61.9%。

    推荐理由:DEXTERA 框架实现从单图到可部署策略的自动化闭环,仿真训练策略在真实机器人上零样本部署有效,且联合训练将成功率提升至 61.9%。

  3. arXiv · 机器人与计算机视觉42

    MG-VQA:利用操作进行视觉问答的 VLMs 基准评测

    研究提出 MG-VQA-Bench,在杂乱桌面环境中评估八款 VLM 通过操作获取证据以回答被遮挡问题的表现。直接观察与感知任务平均成功率仅约 37%,而引入抓取和推挤等操作后提升至 56.8%。强工具调用模型如 GPT-6-Astra(83.0%)能持续搜索并修正,代码与基准已开源。

  4. arXiv · 机器人与计算机视觉82

    EgoSteer:面向可操控灵巧操作的开源全栈系统

    EgoSteer 是一个面向可操控灵巧操作的开源全栈系统,整合了 EgoSmith 数据管道、统一机器人堆栈及世界模型增强的 VLA。系统在 9,606 小时第一人称视频上预训练,并通过遥操作与 DAgger 微调,在 45 个多样化任务中稳健执行自由指令,并在两个具身平台上对长周期任务达到 79% 平均进度。代码、数据集、模型检查点及评测画廊已公开。

    推荐理由:开源了基于第一人称视频预训练的灵巧手 VLA 系统,提供数据管道与仿真增强策略以支持遥操作微调。

  5. arXiv · 机器人与计算机视觉70

    Mask2Real-WM:基于分割掩码的灵巧可控世界模型及仿真到现实桥梁

    Mask2Real-WM 是一个两阶段世界模型,通过将像素预测解耦为动力学模型和渲染模型来提升灵巧操作的可控性。动力学模型利用大量合成数据学习手部运动与交互的未来分割掩码,渲染模型则将掩码转换为逼真 RGB 图像。研究在 23-DoF 机器人系统上对比了五种模型,结果显示该解耦设计实现了最强的每自由度可控性,且仅在 2.5 小时真实演示微调后便获得显著增益,同时生成了更清晰的帧并保持感知质量相当。

  6. arXiv · 机器人与计算机视觉75

    Behavior Uncloning:无需推理时引导将行为模式重定向至策略权重

    论文提出 MoRE(Mode Redirection)方法,通过短期“去克隆”步骤将临时分类器的重定向信号蒸馏进策略权重,使独立策略能以零推理开销抑制不期望的行为模式。在八项仿真与真实世界任务中,该方法平均部署成功率提升 44 个百分点,接近过滤数据重训练的效果,且支持 Diffusion Policy、Pi0.5 VLA 等多种架构。

  7. arXiv · 机器人与计算机视觉67

    ResCue:基于残差空间提示的语言条件模仿学习

    论文提出 ResCue(Residual Spatial Cueing)方法,通过独立编码器将预训练定位生成的掩码特征融合至 RGB 空间特征,在保留场景上下文的同时明确目标区域。该方法结合 Diffusion Policy,在 15 个仿真任务中平均成功率达 56.5%,真实世界双手动任务中达到 60.0%。消融实验证实残差融合优于输入级或池化替代方案,测试时干预显示目标校正引导对执行至关重要。

  8. arXiv · 机器人与计算机视觉75

    VE2VF:通过真实世界强化学习实现从视觉使能到无视觉的蒸馏以增强富接触操作鲁棒性

    针对富接触机器人操作中视觉策略易过拟合的问题,本文提出一种人机在环强化学习框架,利用视觉教师模型向仅依赖位姿、速度和力矩感知的学生模型进行知识蒸馏。该方法完全在真实世界训练,无需域随机化或数据增强。

  9. arXiv · 机器人与计算机视觉82

    FLASH:基于稀疏采样的高效视觉运动策略

    论文提出 FLASH Policy,利用连续勒让德多项式替代离散动作块生成,并通过历史系数初始化流匹配过程以加速推理。该方法无需数值近似即可直接提供速度前馈信号。实验显示其在五个仿真和两个真实操作任务中成功率均不低于 92%,单集推理时间为 31.40ms,训练收敛速度快于 ACT 且控制器跟踪误差显著降低。材料为 NeurIPS 2026 接收的预印本,代码与论文链接已提供。

    推荐理由:FLASH 通过稀疏采样与连续多项式轨迹表示,将推理耗时降至 31.40ms,在五个仿真和两个真实任务中成功率均超 92%。

  10. arXiv · 机器人与计算机视觉72

    TDC:面向接触丰富操作的仿真可迁移方向顺应性

    论文提出 TDC 方法解决接触丰富操作中的自适应顺应难题,将力调节分解为仿真可迁移的方向分量与手动可调幅值分量。该方法利用预训练 VLA 模型微调出的视觉运动策略预测任务框架与控制模式向量,结合人工设定的刚度与目标 wrench 实现部署时的自适应顺应。在微波炉开启、插销入孔、擦白板等四个接触丰富任务上的真实实验显示,该方法仅用仿真数据即可达成高成功率并具备抗干扰鲁棒性。

  11. arXiv · 机器人与计算机视觉72

    TRACER:面向可变形物体的鲁棒性 affordance 思维链框架

    该论文针对可变形物体操作中文本指令与物理交互点难以对齐的挑战,提出了 TRACER 框架。该方法利用树状结构分解高层任务意图,并通过空间约束边界细化机制抑制预测溢出,同时通过交互式收敛流将分散的响应整合为连贯区域。实验在 Fine-AGDDO15 数据集及真实机器人平台上验证了其在不同纹理下的定位精度提升及对长程操作成功的改善。源代码与数据集将在 arXiv 链接处公开。

  12. arXiv · 机器人与计算机视觉35

    Disambiguate Gripper State in Grasp-Based Tasks:伪触觉反馈实现纯仿真学习

    针对抓取任务中夹爪状态模糊降低模仿学习策略鲁棒性的问题,研究提出利用力控夹爪作为触觉传感器的伪触觉反馈方法。该方法无需额外数据采集与硬件介入,为策略提供无噪声的二进制夹爪状态观测,从而支持纯仿真学习以释放仿真潜力。跨三项真实世界抓取任务的实验结果证实了该方法的必要性、有效性与高效性。

  13. arXiv · 机器人与计算机视觉82

    Robotic Long-Horizon Manipulation with Progressive In-Context Code Generation and Episodic Feedback

    论文提出了 DAHLIA 框架,将长时程机器人操作视为集体验证任务规划问题。该方法利用渐进式组织的上下文示例与思维链推理引导大语言模型合成可执行代码计划;同时基于视觉语言模型的报告器仅在每轮执行后评估结果并提供结构化反馈以重规划,从而在部分可观测性下提升鲁棒性。

    推荐理由:该工作提出 DAHLIA 框架,利用渐进式上下文代码生成与集体验证机制解决长序列任务规划问题。

  14. arXiv · 机器人与计算机视觉55

    螺钉几何结合多臂老虎机:增量获取演示以生成操作计划

    本文研究如何系统性地逐次获取足够的示教动作,使机器人能自信地在给定工作区域执行复杂操作任务。作者提出一种方法,利用螺钉几何表示运动来从演示中生成操作计划并衡量示教集的充分性;结合基于 PAC 学习的多臂老虎机优化策略评估子区域的规划能力;并通过启发式方法从薄弱环节寻求额外演示。

  15. arXiv · 机器人与计算机视觉78

    RAGrasp:一种基于几何 - 语义模板检索与抓取迁移的框架

    论文提出了 RAGrasp 框架,利用部署相机、机器人和夹爪采集的本地 RGB-D 模板构建记忆库,无需端到端重训练即可适应局部感知条件。系统结合自监督 DINOv2 特征与 SAM2 分割模型定位物体,通过两阶段检索选择模板并迁移抓取策略,经掩码支撑与轮廓接触约束优化后完成 2D-3D 转换。

    推荐理由:该工作提出基于本地模板检索的抓取迁移框架,在有限标注下实现平面平行夹爪对已知与未知物体的高成功率抓取。

  16. arXiv · 机器人与计算机视觉42

    Barrier-Shaped Recurrent Reinforcement Learning 实现无人机在起伏船甲板的自主着陆

    该研究提出一种基于不对称演员 - 评论家强化学习的策略,使搭载机载视觉的四旋翼无人机能在起伏船甲板(0.70 米峰峰值)上成功自主着陆。方法结合控制屏障函数安全滤波器与触地推力切断逻辑,在包含 31 次动作捕捉和 20 次视觉试验中实现 100% 着陆成功率,首次尝试成功率分别为 77% 和 50%,平均接触速度降至 0.29 米/秒。

  17. arXiv · 机器人与计算机视觉73

    InterMimicGen:通过自进化运动模仿扩展人形机器人行走与操作能力

    论文介绍 InterMimicGen 框架,旨在解决人形机器人学习行走与操作时监督数据稀疏、异构且不可直接执行的问题。该方法首先整合人类交互数据集并重新定向为保留全身协调性与灵巧手关系的机器人参考动作;其次训练基于物理的通用追踪器在仿真中执行这些参考;最后构建数据飞轮,通过微调追踪器并筛选成功执行的变体来不断扩展运动覆盖范围。

  18. arXiv · 机器人与计算机视觉43

    质量多样性算法助力开放环境下的灵巧操作研究

    该研究提出利用质量多样性(QD)算法解决开放环境中机器人灵巧抓取任务,旨在高效发现多种鲁棒抓握构型以生成多样化操作轨迹。实验表明,这种操作行为的多样性增强了泛化性与适应性,使其能有效部署于持续演进的开放世界设置中。论文已接受发表于 IMOL 2025 研讨会,共 3 页含 1 张图。

  19. arXiv · 机器人与计算机视觉78

    DexForge:一种高保真物理驱动的灵巧重定向框架

    DexForge 是一个基于可微物理的框架,用于将人类视频演示转化为高保真的机器人轨迹。该方法重建球状高斯物体模型和手 - 对象运动,构建结合高效高斯碰撞检测的可微仿真器,并融合接触感知的运动学重定向与力感知的动力学重定向以精确复现物理运动。

    推荐理由:提出基于可微物理的框架,将人类演示转化为高保真机器人轨迹,在七种灵巧手实验中将成功率提升约 35-53 个百分点。

  20. arXiv · 机器人与计算机视觉43

    STC-MPM:耦合变形、渐进损伤与软组织切割形成的计算框架

    STC-MPM 框架通过材料点方法将有限应变变形、基于历史的连续介质损伤及可配置的后失效处理相耦合,以连接切割形成与演化的机械响应。数值手术刀研究显示,在相同刀具运动下降低损伤率阈值虽不改变首次记录损伤时间,但会延迟峰值反作用力并增加最大插入时的固定队列位移统计。该框架支持在不预设切割界面的情况下,联合分析切割形成及伴随的组织响应。

  21. arXiv · 机器人与计算机视觉72

    Talk, Render, Act:将社交手势与数字面部与同步语音整合用于对话型人形机器人

    该论文提出 TRABot 框架,旨在解决人形机器人交互中语音、面部表情与肢体动作割裂的问题。研究首先构建了基于语义的运动原子库,并引入语义条件组合规划器以协调身体运动与口语响应;随后在物理 G1 人形机器人上部署了流式语音 - 面部 - 身体整合系统,实现了实时多模态交互。定量与定性实验表明,该方法在自然度、表现力和多模态一致性方面优于所有对比条件。

  22. arXiv · 机器人与计算机视觉78

    I-BFM:基于奖励条件的人形机器人鲁棒交互行为基础模型

    论文介绍 I-BFM,据称是首个针对人形机器人与物体交互的行为基础模型(BFM)。该模型利用前向 - 后向表示和无监督强化学习,学习人形、物体及其接触点之间的耦合动力学共享表征。

    推荐理由:该工作提出首个面向人形机器人与物体交互的行为基础模型,通过无监督强化学习实现单一策略对多种任务的闭环控制。

  23. arXiv · 机器人与计算机视觉84

    Conditional Trajectory Peaks:单次通过多模态策略框架

    论文提出了 Conditional Trajectory Peaks (CTP) 框架,旨在解决多模态模仿学习中同一观测下需生成多样化可执行未来及重规划周期行为一致性的问题。

    推荐理由:该工作提出单次通过多模态策略框架,在多个基准及真实双臂实验中验证了其在覆盖度、成功率与推理延迟上的综合优势。

  24. arXiv · 机器人与计算机视觉62

    面向一致异步重规划的生成式机器人策略执行对齐渐进噪声

    针对实时生成式机器人策略中独立随机初始化导致模式切换和动作块间不一致的问题,论文提出执行对齐渐进噪声方法。该方法在跨块和块内引入结构化随机性,传播共享噪声轨迹并与实际执行位移对齐,结合已承诺的动作上下文条件化后续生成,使新动作块能从执行一致的生成状态延续而非重启。

  25. arXiv · 机器人与计算机视觉78

    MagServo:基于学习隐式特征的不确定性强韧分层磁致动

    论文 MagServo 提出了一种分层学习框架,利用掩码重建学习不确定性强韧的磁特征表示,并在无需解析模型或显式雅可比监督的情况下捕捉机器人运动与磁状态间的交互动力学。

    推荐理由:该工作提出基于学习隐式特征的磁致动框架,在无需解析模型的情况下实现了亚毫米级精度与强鲁棒性。

  26. arXiv · 机器人与计算机视觉75

    Mulligan:面向高效机器人学习的性能引导数据采集方法

    该论文针对机器人从人类演示中学习时增益递减的问题,提出 Mulligan 方法以最大化有限监督集下的改进效果。核心在于将初始状态分布作为决策变量,优先在策略失败或未被尝试的状态上采集数据,而非均匀采样;同时结合基于所有数据(含被模仿学习丢弃的失败样本)训练的价值函数进行动作选择。

  27. arXiv · 机器人与计算机视觉78

    面向超声机器人的双速率力 - 图像控制与基于模型的方位角限制

    针对超声机器人在高频率接触力环路与延迟图像反馈耦合下易扰动力的问题,研究推导了考虑扰动的闭式方位角速率上限公式,并在凝胶体模型上验证。相比无约束引导,该控制器将首秒均方根估计力误差降低 0.40 N,收敛时间增加 0.94 s;固定速率上限在接近理论天花板时未显著改变力误差但收敛快 0.32 s,表明模型主要价值在于提供速率设计规则而非在线预测。

    推荐理由:提出基于模型的方向速率限制控制器,在超声机器人操作中降低力误差并加速收敛。

  28. arXiv · 机器人与计算机视觉78

    基于多目标强化学习的四足机器人无传感器堆叠货物运输方法研究

    针对四足机器人在不平坦地形上运输无固定堆叠货物的难题,本文提出 Payload-Adaptive Multi-Objective Reinforcement learning for Transportation (PAMORT) 框架。

    推荐理由:提出 PAMORT 多目标强化学习框架,在仿真与宇树 Go2 真机零样本迁移中实现无传感器堆叠货物稳定运输。

  29. arXiv · 机器人与计算机视觉82

    Bilinear Flow Policy:面向未见目标的视觉运动模仿学习新框架

    针对条件模仿学习中面对未见目标时多模态行为坍缩的问题,本文提出 Bilinear Flow Policy(BFP)。该方法利用预训练视觉特征和新型锚点选择算法,将未见观测 - 目标对分解为熟悉锚点与残差项,并通过双线性流建模其联合决定的动作分布。

    推荐理由:提出结合归纳检索与双线性流的生成策略,在仿真中实现比基线高 2.63 倍的未见目标成功率。

  30. arXiv · 机器人与计算机视觉75

    演示校准的端口 - 哈密顿量重调优用于操作策略

    针对扩散模型和视觉语言动作(VLA)策略在下游阻抗控制器中依赖经验性增益设置的问题,本文提出 PHRetune 方法。该方法从演示数据中学习端口 - 哈密顿量模型以估计策略预测动作的能耗与努力度,通过对比推导单一增益比例因子,在不重新训练策略、无需先验机械臂模型或任务奖励的情况下调整控制器增益。

  31. arXiv · 机器人与计算机视觉78

    无数据集的人形机器人顺应式行走 - 操作:动态在线姿态调整

    OCLO 是一种无需人类运动数据即可训练的人形机器人全身行走与操作系统,仅通过两个末端执行器目标进行指令输入。该系统利用解析可达性先验在线生成骨盆高度和躯干朝向,并通过策略闭环采样优化任务无关成本;同时学习全身顺应性以应对外部负载。

    推荐理由:OCLO 系统无需人类运动数据,通过解析可达性先验与策略闭环采样实现人形机器人全身协调与顺应控制。