跳到正文
11月10日周二
  1. arXiv · 机器人与计算机视觉54

    SAM-VTP:基于视频记忆与深度测量的连续可通行性分割研究

    论文提出 SAM-VTP 方法,通过微调 SAM2 的视频记忆路径实现无提示的稠密可通行性分割,并利用深度信息直接测量坡度、粗糙度和高度等几何特征。该方法在 TartanGround 数据集上相比帧级基线显著提升了 Jaccard 和 IoU 指标并减少了闪烁,且在闭环测试中大幅降低了规划器因预测失效而中断的频率。

  2. arXiv · 机器人与计算机视觉78

    Compass 1:面向开放世界与持久化具身导航的单目 RGB 视频模型

    Compass 1 是首个统一语言理解与视频生成的具身导航基础模型,通过引入历史表征机制整合稀疏关键帧与显式地图以保留长时空上下文。该模型基于单目 RGB 视频训练,涵盖超 500 小时真实交互与超 2000 小时标注网络视频数据,支持从轮式机器人到无人机等多种载体。

    推荐理由:Compass 1 是首个统一语言理解与视频生成的具身导航基础模型,通过历史表征实现近两分钟视觉回溯,在开放世界导航任务中成功率达 79.4%。

  3. arXiv · 机器人与计算机视觉48

    OASIS:带安全约束的优化感知子目标推理自主移动机器人导航框架

    OASIS 是一种分层导航框架,将模型预测控制器的优化结果反馈给软演员 - 评论家(Soft Actor-Critic)策略以生成子目标。该框架在包含静态与动态障碍物的五种场景中评估,相比层级及直接目标控制变体实现了最高的综合导航成功率。匹配对比显示其相对于无优化状态输入的相同层级架构具有持续的成功率优势,且主要优化失败更少、平均控制器时间相似。

  4. arXiv · 机器人与计算机视觉82

    CSG-Nav:面向鲁棒探索与零样本目标导航的置信度感知语义几何融合方法

    论文提出 CSG-Nav 框架,通过整合开放词汇检测、深度定位与多视图证据加权,解决长程感知不可靠及幻觉偏差问题。在 HM3Dv1/v2 和 MP3D 数据集上实现零样本导航成功率分别为 58.9%、71.6% 和 44.3%,并在室内外真实环境完成部署验证。代码已开源。

    推荐理由:提出基于置信度的语义几何融合框架,在 HM3D 等数据集实现零样本导航新 SOTA,代码已开源。

  5. arXiv · 机器人与计算机视觉58

    Reliability-Adaptive Multimodal Relative Pose Tracking for Underwater Leader-Follower Robots

    该研究针对水下领航 - 跟随编队控制中感知条件受限和计算资源有限的问题,提出了一种可靠性自适应的多模态感知框架。该方法融合视觉、声学测距和水动力测量数据,通过自适应加权各模态贡献并建模时间依赖性,在嵌入式 NVIDIA Jetson AGX Orin 上实现了低延迟推理(17.62 ms)。

  6. arXiv · 机器人与计算机视觉73

    Distilling Instructions into Weights:闭式编辑修复机器人策略的误读

    针对通用机器人策略在任务步骤中因指令误读而失败的问题,研究提出一种无需梯度、训练数据或修改指令的闭式权重编辑方法。该方法将显式重述指令对语言模型 MLP 权重的逐层效应蒸馏进网络,使 RoboLab 平台上的零样本策略成功率从 27 提升至 106(81 个修复成功,2 个破坏),且未对其他任务造成损害。研究还验证了该方法在动作专家或头部位置效果有限,并提供了开源代码与基准测试工具。

  7. arXiv · 机器人与计算机视觉4

    混合肌腱连杆手指设计实现耦合与自适应运动

    该研究提出一种由三个执行器驱动四个自由度的混合肌腱连杆机器人手指,通过锥齿轮和双向肌腱传动实现 MCP 关节独立控制。实验表明基于 ArUco 的测量显示耦合运动与理论预测高度吻合,指尖平均峰值力达 4.56 N,且无需额外执行器即可适应圆柱、立方及不规则物体接触。

  8. arXiv · 机器人与计算机视觉78

    Fade to... Red? 调度彩色噪声支持高效且低抖动的机器人学习

    针对连续控制中的探索问题,本文系统研究了从白噪声到红噪声的线性调度策略及其对 Fetch 机械臂和 Shadow Dexterous Hand 在稀疏奖励操作任务上的影响。研究发现,训练结束时的噪声颜色不影响最终性能,但向红噪声过渡可将所有任务的探索动作抖动减半。研究建议将向红噪声过渡的调度器作为离线机器人学习的默认配置,以平衡学习效率、最终表现与运动平滑度。

    推荐理由:研究证实训练后期向红噪声过渡的策略,在保持学习效率的同时显著降低动作抖动,可作为离线强化学习的默认探索方案。

  9. arXiv · 机器人与计算机视觉82

    DASH:面向人形机器人灵巧操作的延迟无关视觉语言动作模型扩展

    论文提出 DASH(Decoupled Asynchronous System for Humanoids),通过异步解耦将 VLA 模型的慢速骨干与快速动作头分离,使控制频率仅取决于动作头。

    推荐理由:提出 DASH 异步系统解耦 VLA 骨干与控制头,在仿真与真机实验中保持高频控制率并提升灵巧操作成功率。

  10. arXiv · 机器人与计算机视觉78

    PAIR:一种基于本体感知对齐的图像射线表示方法,用于提升操作任务的视角鲁棒性

    针对模仿学习中视觉输入随视角变化导致信号模糊的问题,本文提出 PAIR 框架,利用机器人本体感知(proprioception)将联合图像与射线表示进行对齐。该方法鼓励在相似机器人状态下、不同视角下的观测在表示空间中保持接近,从而为学习视角鲁棒的特征提供结构化先验。

    推荐理由:提出利用机器人本体感知对齐图像射线表示的对比学习框架,在仿真与真实场景中显著提升了对视角变化的泛化能力。

  11. arXiv · 机器人与计算机视觉38

    Graph-Sparse Distributed Predictive Control for Multi-Robot Motion Planning vianEdge-Consensus ADMM 论文发布

    该研究提出了一种用于平面双积分动力学机器人的分布式模型预测控制架构,通过时变冲突图减少协调需求。系统在 C++ 仿真中验证了 8、16 和 32 台机器人的无碰撞执行能力,计算可扩展性显著提升且任务性能与集中式基线相当。

  12. arXiv · 机器人与计算机视觉74

    基于生成轨迹模型进行状态估计与控制:一种无需微调的推理增强方法

    论文提出利用预训练扩散模型联合表示状态、动作和观测,通过粒子滤波维护关于状态历史的竞争假设并据此引导动作选择。实验在部分可观测导航与视觉操作任务上验证了该方法相比无滤波的动作生成策略,能提升状态估计精度与任务性能,且无需修改预训练模型或额外测试时信息。

  13. arXiv · 机器人与计算机视觉78

    基于数据的软螺旋体机器人精密控制方法

    作者提出一种基于绝热谱子流形理论的纯数据驱动方法,从硬件平台采集的数据中学习五维非线性常微分方程以建模软体螺旋体躯干机器人的动力学。该方法结合模型预测控制方案,在包含静态与动态约束的二维至三维闭环轨迹跟踪任务中实现了实时精密控制。

    推荐理由:基于硬件采集数据学习软体机器人动力学模型,在闭环轨迹跟踪任务中精度优于现有线性方法与无模型强化学习。

  14. arXiv · 机器人与计算机视觉49

    物理实验室自驱动测试床对比贝叶斯与智能体优化算法

    该研究开发了一套集成商用仪器的物理测试床,实现了连续 24 小时无人值守的闭环自主实验。系统在四小时内完成六次独立任务,利用智能体优化器将匹配目标吸光度光谱所需的迭代次数较传统贝叶斯优化减少最多 52%,并成功解决后者在 48 次内未收敛的目标。该平台可作为参考基准,用于评估包括大语言模型指导在内的新兴 AI 策略,以应对真实世界中昂贵且耗时的实验部署挑战。

  15. arXiv · 机器人与计算机视觉56

    HINT-VLM:基于具身视觉语言模型的类人机器人粗糙地形交互导航研究

    针对类人机器人在户外粗糙地形中需同时处理地形通过性与物体可移动性的挑战,本文提出 HINT-VLM 混合规划框架。该方法利用视觉语言模型(VLM)提供语义先验,并通过高斯过程残差模型修正以生成具身化的概率性可移动性估计,进而融入分层不确定性感知规划中。这是首个通过预测式可移动性推理解决粗糙地形下 NAMO 问题的方案。

  16. arXiv · 机器人与计算机视觉73

    FlowEval:具身基础模型在部署时需要多少适应?

    论文介绍 FlowEval,一套利用流匹配目标探测具身基础模型的无训练诊断指标。该工具通过成功的目标域演示量化预测分歧以评估预训练模型与特定部署的契合度。研究涵盖 Pi-0.5、MolmoAct2、GR00T 和 DreamZero 四个模型家族,并在真实世界与仿真环境中区分了已见与未见部署。

  17. arXiv · 机器人与计算机视觉59

    ColNav:一种具有不确定性的时空碰撞检查方法

    论文提出了 ColNav 方法,通过几何体积编码目标与自车位置速度的不确定性(支持有界集和 Gaussian 描述),利用包围体层次组织时空管以覆盖整个时间视界而非离散采样点。该方法在预测模型失配下达到 100% 的成功率,优于最佳基线的 65%,并在密集交通中维持三倍的清除距离,同时在物理机器人上验证了实时运行能力。

  18. arXiv · 机器人与计算机视觉42

    MICE:多动物交互上下文编码器——小鼠行为分层基础模型发布

    MICE(Multi-animal Interaction Context Encoder)是一款针对小鼠行为的分层基础模型,能联合预训练处理 1 至 4 只小鼠及 7 到 27 个关键点的数据。该模型通过层级个体编码器和 Perceiver 风格社交编码器,实现单检查点适配任意群体规模且无需重训。在涵盖六个数据集的四项评估协议中,MICE 匹配或超越现有基于关键点的基线,代码、权重与数据已开源。

  19. arXiv · 机器人与计算机视觉45

    Kinora:支持文本生成运动、机器人重定向与交互验证的版本化工作流

    Kinora 系统通过版本化工件连接文本到运动生成、动作库及本地代理工具,利用独立指定的 52 关节制作 rigs 和过程骨架预览分离几何与模型。评估显示 server 0.5.1 和 Gadget 0.15.2 在 156 次回归测试中全部通过数值关卡,但转弯拼接仍保留 14.3 cm 支撑脚漂移预警。该成果支持部分集成与保存契约,未证实语义质量提升、群体可行性或硬件安全性。

  20. arXiv · 机器人与计算机视觉42

    Qubit-to-Motion:混合量子强化学习中的可追溯动作溯源框架

    Qubit-to-Motion 提出了一种支持约束序列化的证据中心框架,通过四组 Pauli-Z 读出作为唯一输入并记录 SHA-256 指纹实现决策到接触的可追溯性。在 MuJoCo 仿真中,该框架在五种 30 物体场景变体下完成全部 150 次放置任务,推理耗时约 8.60ms,位置误差控制在微米级。代码托管于匿名仓库,预印本状态待正式注册。

  21. arXiv · 机器人与计算机视觉58

    Review the Episodes, Refine the Lessons: Simple Memory Evolution for Embodied Agents

    论文提出 SimplEvo 方法,探索多模态大语言模型在保留执行经验的文本记忆中直接控制的提升极限。该方法无需权重更新或后训练策略,通过单次演示生成无坐标任务记忆,并在训练阶段构建仅基于训练集集的有界工作记忆,每轮迭代后根据程序、完成度和恢复情况精炼该记忆。

  22. arXiv · 机器人与计算机视觉53

    突破记忆限制:面向大规模三维自主探索的分层时空地图表示

    论文提出 FLAVOR 框架,通过分层时空地图解决无人机在资源受限环境下的全局探索问题。该方法将稠密几何约束于机器人局部地图,仅保留紧凑的全局观测与任务上下文;利用轻量 LiDAR 关键帧可见性记录支持前沿推理,并将未解析的前沿作为待办任务关联里程计锚点。

  23. arXiv · 机器人与计算机视觉67

    当编码智能体拥有机械臂:跨越数字 - 物理边界的风险分析

    该研究介绍了 ArmedAgent,这是首个系统性评估零样本机器人控制代码智能体风险的基准。涵盖 36 个任务在 5 种场景下的鲁棒性、恶意使用及间接注入风险,先在仿真中评估并在物理机械臂上验证。测试包括 GPT-6-Astra 等前沿模型,发现当前系统在数字资源威胁转化为物理行动方面存在显著安全风险。

  24. arXiv · 机器人与计算机视觉72

    单雷达双侧近场成像用于移动机器人

    针对移动机器人在室内环境中对路径两侧家具和结构的三维感知需求,本文提出一种运动辅助的单雷达双侧近场成像框架。该方法利用球形波前模型关联场景反射率与步进频率多输入多输出观测数据,通过双边发射天线组合实现宽带方向加权,结合滑动孔径反投影进行相干聚焦,并利用 Top-K 功率融合整合不同可见性的局部图像。

  25. arXiv · 机器人与计算机视觉62

    DexForesight:基于隐式空间前瞻的灵巧策略 grounding 方法

    论文提出 DexForesight 框架,通过在灵巧策略潜在空间中注入动力学感知的世界表征来学习隐式空间前瞻性。该方法利用离线场景深度、运动学手几何和演示轨迹训练动作条件化的空间世界模型,预测三维手部点运动和视觉特征变化(包括相机遮挡的手指)。

  26. arXiv · 机器人与计算机视觉75

    从节日视频到舞台:商用类人形机器人长周期全身舞蹈的仿真到现实阶梯

    论文提出将日本传统阿瓦舞从单目视频迁移至宇树 G1 EDU 商用类人形机器人的管线,结合人体网格恢复、运动学重定向及仿真强化学习。作者在单卡 RTX 5070 上训练,通过十一版本部署阶梯在硬件上验证了修复静默损坏、模型状态漂移及编辑参考动作等干预措施。

  27. arXiv · 机器人与计算机视觉62

    HARP-Bench:面向活跃人类环境的机器人操作基准评测

    现有机器人操作基准多假设环境静态且仅由指令决定任务语义,忽略了人类作为主动代理共享工作空间的现实情况。本文提出 HARP-Bench 基准,将人类活动视为操作问题的一部分而非背景干扰,涵盖提示、贡献、打断与共存四种条件,并配套演示生成管线。

  28. arXiv · 机器人与计算机视觉42

    ADMM 算法提升机器人运动控制决策效率

    该研究提出基于交替方向乘子法(ADMM)的求解器,替代传统内点法解决稀疏分层非线性规划问题。实验显示在低至中等精度区间,其计算时间较结构利用型内点法最高减少 23.5%。该方法已扩展至全身动态控制的人形机器人行走任务,验证了其在大规模运动与动力学控制中的高效性。

  29. arXiv · 机器人与计算机视觉55

    面向快速执行的基于视觉策略的异步控制与动作推断:一种感知感知的指令生成方法

    针对基于视觉的控制策略(含视觉语言动作模型)因动作推断计算成本高导致执行速度慢的问题,本文提出了一种无需修改底层策略学习过程的异步推理与控制框架。该方法将连续目标位置的生成建模为跟踪控制问题,利用预测位置方差实现自适应动作跳过,从而在保持平滑稳定运动的同时大幅提升任务执行速度。

  30. arXiv · 机器人与计算机视觉74

    ObjectWorld:基于大规模 3D 全物体流数据的世界模型

    该论文提出全物体流(3D full-object flow)表示,将稠密 3D 轨迹分配至目标物体完整表面(含遮挡区域),统一适用于刚性与柔性物体。作者构建了一个包含 1210 小时视频与物理仿真的数据集,并训练了接收图像与任务描述、预测全物体流的世界模型。实验显示该表示具有可靠的标注质量、可扩展的流预测能力,并在新型场景与机器人本体上实现了有效的下游操作。

  31. arXiv · 机器人与计算机视觉58

    RoboMoCap:面向人形机器人学习的全身运动捕捉数据集

    针对现有第一视角数据集缺乏高精度光学动作捕捉及下肢行为覆盖不足的问题,作者发布了 RoboMoCap 大规模多模态数据集。该数据包含超过 200 小时的记录,由 14 名参与者完成,集成了六个头戴式相机、腕部视觉与惯性传感以及 120Hz 的全身体光学动作捕捉。