跳到正文
11月4日周三
  1. arXiv · 机器人与计算机视觉78

    jaxipm:首个支持 GPU 批处理的通用约束非线性优化求解器发布

    论文介绍了 jaxipm,这是基于 JAX 实现的 IPOPT 算法 GPU 批处理版本,旨在解决现代 GPU 硬件上运行非线性规划(NLP)时的 CPU-GPU 传输瓶颈。

    推荐理由:该工作提出首个 GPU 批处理非线性优化求解器,解决了传统 CPU 求解在机器人高频采样中的瓶颈问题。

  2. arXiv · 机器人与计算机视觉72

    DuoBench:面向双臂操作的仿真与实物可复现基准

    论文介绍 DuoBench 框架,涵盖 FR3 Duo 平台上的十一项双臂操作任务,包含仿真环境与部分实物复现的标准化流程。研究提出分阶段评估方案以支持细粒度语义失效分析,并对比了多种模仿学习与视觉语言动作策略的表现。结果显示当前策略在交互初期、双臂并行执行及虚实迁移场景中仍面临挑战,且仿真能复现真实实验中的同类失效模式。代码与数据集已开源。

  3. arXiv · 机器人与计算机视觉75

    IntentNav:基于人类演示学习空间视觉物体导航

    论文提出了 IntentNav 框架,旨在解决未知环境下的物体导航问题。该方法引入前沿基于的人类意图标注技术,从低层动作推断高层搜索意图;构建包含 BEV 记忆与视角视觉记忆的候选空间,利用 VLM 策略选择最佳目标。在 MP3D、HM3D-v1 和 HM3D-v2 基准上取得了学习类方法的最优成功率,且该导航接口可零样本迁移至轮式、四足和人形机器人,无需额外微调。

  4. arXiv · 机器人与计算机视觉78

    PACE:基于动作分块的相位感知执行方法

    论文提出 PACE(Phase-Aware Chunk Execution),一种无需训练的机器人策略在线执行方法。该方法利用预测速度曲线中的低速谷值作为重规划边界,以平衡反馈频率与运动连续性。

    推荐理由:提出无需训练的 PACE 方法,利用预测速度曲线的低速谷值动态选择重规划边界,在 RoboTwin2.0 和 LIBERO 基准及真机实验中均优于固定或自适应策略。

  5. arXiv · 机器人与计算机视觉84

    DynaFLIP:一种基于三模态动力学引导的机器人感知表征框架

    论文介绍 DynaFLIP 框架,旨在解决传统机器人学习管道依赖静态视觉编码器、将运动理解推给下游策略的问题。该方法构建图像 - 语言-3D 流三元组作为训练监督,鼓励三种模态在共享超球空间中占据较小的单纯形体积以增强对齐,并结合余弦正则化与对比目标以避免几何歧义和平凡坍缩。

    推荐理由:该工作提出将运动理解上移至感知层,通过多模态监督构建动力学感知表征,在跨分布场景下提升机器人泛化能力。

  6. arXiv · 机器人与计算机视觉72

    基于有限感知的变形四旋翼在超狭窄通道中的轨迹与形态规划

    本文提出了一个在线轨迹和形态规划框架,使变形四旋翼能够仅使用2D激光雷达感知障碍物,从而穿越窄于其展开宽度的通道。核心创新在于从激光雷达数据中计算出的代价函数修正项,该修正项在狭窄通道的中线处抵消了障碍物的排斥成本,使其成为低代价走廊,而在其他区域保留完整的排斥成本。

  7. arXiv · 机器人与计算机视觉55

    面向异构机器人团队安全导航的能力感知异质控制屏障函数

    针对异构机器人团队中不同动力学与控制限制导致的安全义务难以均等满足的问题,提出一种能力感知异质控制屏障函数(CA-HCBF)去中心化框架。该方法通过规范变换与反步法推导了适用于全向与非全向移动机器人的统一操作空间二阶控制仿射表述,解决了相对阶不匹配问题并保持了成对安全集的向前不变性。

  8. arXiv · 机器人与计算机视觉58

    基于场景自适应具身智能的多 AUV 自组网多目标跟踪

    针对水下网络与多智能体协同技术进展,本文提出一种用于多 AUV 自组网的场景自适应具身智能架构,将感知、决策与物理执行整合为统一认知回路。该架构定义基于信标的通信控制模型,引入具备双路径评论家机制的场景自适应 MARL(SA-MARL)算法,通过动态融合解耦专用跟踪任务与全局安全约束。

  9. arXiv · 机器人与计算机视觉82

    SMAT:面向协同适应外骨骼控制的分阶段多智能体训练方法

    针对外骨骼辅助中用户与设备需协同适应的非平稳学习问题,本文提出分阶段多智能体训练(SMAT)框架。该方法在 MyoAssist 仿真环境中,先让肌肉骨骼模型学习无助力步态及适应附加质量,再训练外骨骼策略,最后实现双向反馈下的共同适应。

    推荐理由:提出分阶段多智能体训练框架,在仿真与物理实验中均实现无需个体重训的持续正向助力。

  10. arXiv · 机器人与计算机视觉42

    大模态模型赋能具身智能驾驶:下一代自动驾驶新框架

    针对模块化设计在开放场景的局限,该研究提出语义与策略双驱动的混合决策框架,融合大模态模型进行认知表征及深度强化学习优化实时策略。通过车道变更规划案例的仿真验证,该方法较基线提升至少 19% 性能。文章还指出了关键开放挑战并指明了后续研究方向。

  11. arXiv · 机器人与计算机视觉75

    ResponsibleRobotBench:面向机器人操作的负责任决策基准

    ResponsibleRobotBench 是一个包含 23 种配置的操作任务基准,旨在评估大型多模态模型在风险感知、缓解行动选择及执行前提满足方面的能力。研究发现终端安全性与任务完成度可能分离,且防御提示对不同模型的影响方向各异;仅识别危险类别不足以保证可执行的缓解措施。该工作通过模仿学习与物理机器人序列实验,强调了协调缓解动作与目标行动的必要性,并提供了任务定义、检查条件及提示词附录。

  12. arXiv · 机器人与计算机视觉74

    DexCanvas:弥合人类演示与机器人学习以支持灵巧操作的数据集发布

    论文介绍了 DexCanvas,这是一个混合真实 - 合成数据集,包含 7000 小时的手物交互记录及每帧接触点与力信息,数据源自 70 小时光学动捕并通过 RL 策略在仿真中复现。实验显示该数据集使 Diffusion Policy 成功率从 67.5% 提升至 82.2%,并在未见物体上保持 72.5% 的成功率。111,857 条力标注轨迹已在 Hugging Face 公开。

  13. arXiv · 机器人与计算机视觉42

    具备方向可调推进器的水下车辆设计与自适应跟踪控制研究

    针对复杂动态水下环境机动性受限问题,该研究提出一种配备矢量推进器的方向可调推进器水下车辆(OAT-UUV),实现全六自由度运动。系统采用基于视觉的跟踪控制方案,集成实时状态反馈与新型前馈自适应模型预测控制器(FF-AMPC)。实测表明,该设计显著提升了水下机动性,且 FF-AMPC 控制器相比传统控制器使悬停性能提升 49.1%。

  14. arXiv · 机器人与计算机视觉20

    For You Not for Everyone:具身智能机器人如何感知旁观者并自适应传递关键反馈

    该研究对比了两种机器人教学行为,发现当检测到旁观者时,通过转向身体、隐藏屏幕并以静音方式展示反馈的“上下文自适应”策略,显著提升了用户对隐私意识和社交能力的评分。实验基于 40 名参与者的双盲测试,使用预设的发音与书写批评信息验证效果,但未证实能减少尴尬体验。结果指导了具身智能系统在共享空间中保护敏感信息的交互设计。

  15. arXiv · 机器人与计算机视觉18

    可穿戴中介通道实现共享游戏中的隐秘人机交互研究

    该研究在 Wizard-of-Oz 设置下,利用耳内音频与头部倾斜构建可穿戴中介通道,使屏幕社交机器人在 40 名参与者组成的 20 对游戏中成功完成 39/40 次信息交换。实验显示佩戴者压力无显著差异且可用性良好,但非佩戴者存在感知不一致,揭示了未来设计需关注隐私与公平性。

  16. arXiv · 机器人与计算机视觉83

    Aero-VPA:面向边缘硬件的非重构 JEPA 潜空间少步流匹配控制研究

    论文提出 Aero-VPA 轻量级视觉预测动作架构,用于边缘硬件上的三维导航。该架构利用紧凑的 RGB-D Vision Transformer 和五头集成预测器在不进行像素重建的情况下预测下一潜状态,并通过条件流匹配求解器在两个欧拉步骤内生成速度和偏航率片段。

    推荐理由:该工作提出 Aero-VPA 架构,在 PX4 仿真环境中实现四旋翼自主飞行闭环评估,公开代码、策略与基准数据集。

  17. arXiv · 机器人与计算机视觉82

    Say the Same, Act Differently:诊断与引导推理 VLA 中的文本 - 动作分歧

    该研究针对推理型视觉语言动作(VLA)模型,发现视觉扰动可在保持生成理由逐字不变的情况下改变物理动作。在 Alpamayo 和 InstructVLA 模型上,基于文本中性残差子空间(TNAS)的干预比传统方法更高效地诱导动作变化且大幅降低文本漂移。

    推荐理由:论文揭示视觉扰动可独立于文本理由改变动作,提出 TNAS 诊断方法证明仅凭文本无法认证安全,需直接验证动作通道。

  18. arXiv · 机器人与计算机视觉78

    VagueBench:评估具身智能体在环境语境幻觉下的鲁棒性基准

    针对当前具身智能体评估偏向危险指令而忽视语义充分但语境最小化指令的问题,该研究首次提出‘环境语境幻觉’现象并建立 VagueBench 基准。该基准基于 AI2-THOR 仿真环境,包含 1,303 对指令,通过人类 - 智能体协同生成框架构建以测试语境依赖性。

    推荐理由:该工作提出环境语境幻觉现象并建立 VagueBench 基准,揭示具身智能体对辅助语言信号的过度依赖及潜在安全风险。

  19. arXiv · 机器人与计算机视觉72

    通过虚拟试穿从人类视频中合成灵巧机器人演示

    论文提出 RoboTryOn 框架,将人类到机器人的动作迁移类比为虚拟试穿:保留人类视频中的运动与场景,仅替换主体为指定机器人。该方法利用自回归关键帧翻译和基于手骨架的运动条件生成,结合逆动力学模型推断动作标签以辅助策略学习。实验表明,在无需真实机器人演示新任务的情况下,合成数据训练的策略在多足机器人灵巧操作等挑战任务上的平均成功率从 2% 提升至 60%,且采集成本约为纯遥操作数据的三分之一。

  20. arXiv · 机器人与计算机视觉74

    异步机器人策略:一种兼顾大模型能力与实时响应的 VLA 架构

    针对大规模视觉语言基础模型带来的计算延迟问题,本文提出异步机器人策略(ARP)框架,将高容量视觉语言模型的语义记忆更新与轻量级视觉动作专家的动作生成解耦为不同频率的异步过程。该方法在 Franka 操作任务上实现了比基线高 18% 的成功率和更短的执行时间,且在动态仿真环境中性能提升 3-5 倍;同时允许以远低于标称频率运行 VLM 而无需牺牲性能,显著提升了部署效率。

  21. arXiv · 机器人与计算机视觉75

    DexHOT:学习手物构型转移以实现灵巧操作

    论文介绍 DexHOT 方法,将灵巧操作形式化为手物构型转移任务,通过合成数据学习可复用的关系条件转移原语并闭环跟踪子目标。在包含 120 个物体的基准测试中,单策略对已知物体达到 80.5% 的转移成功率、未知物体为 69.4%;在真实灵巧手上完成 200 次真机转移成功率为 61.5%,并在六个演示引导任务中达成 90% 的任务成功率。

  22. arXiv · 机器人与计算机视觉78

    HLO-AMP:基于物体感知运动先验的分层移动 - 操作框架

    论文提出 HLO-AMP 框架,通过分层策略解决人形机器人移动与操作任务中低层控制器缺乏物体感知的难题。方法将低层控制器训练为物体感知运动先验,利用重定向动作捕捉数据在真实物体存在时学习自然协调与接触力分布;高层策略则基于经验包络进行参考免费训练以防止越界。实验在宇树 G1 平台上实现了双手抓放任务,验证了该方法对物体质量、尺寸及初始目标位姿的泛化能力,并展示了从搬运中故意掉落后的恢复效果。

    推荐理由:该工作提出将低层控制器训练为物体感知的运动先验,在真实物体存在下学习自然协调与接触力分布。

  23. arXiv · 机器人与计算机视觉45

    Nested Field-of-View Barriers for Teleoperated Multi-Robot Relay Chains 论文提交至 ACC

    针对通信受限环境下的移动机器人遥操作难题,该研究提出一种共享自主框架,通过嵌套硬软视野约束解决连通性与跟随者停滞的冲突。方法在几何上利用基于可见性的控制屏障函数(CBFs)强制连通性,并在二次规划中局部计算控制输入以平衡移动能力与连接保证。实验在受限杂乱环境中对运动学积分器和软件环 Crazyflie 四旋翼系统进行评估,结果显示该框架能保持链路更靠近连通集并减少跟随者位移。

  24. arXiv · 机器人与计算机视觉78

    Do Agentic Policies Need to Look at Every Step? Geometric Abstraction for Reasoning and Action

    论文提出一种基于 3D 几何抽象的接口,将机器人场景的空间推理从原始图像转移到文本和符号上。该方法利用校准后的 RGB-D 数据对物体部件进行类型化和证据感知的符号引用,并在每次动作后返回包含度量残差的紧凑文本检查点。

    推荐理由:提出通过几何抽象将空间推理从图像转为符号,减少多模态查询并提升多步操作成功率。

  25. arXiv · 机器人与计算机视觉42

    Haptic Shared Control for Multi-Robot Systems 发布触觉共享控制算法与三种人机协作模式

    该研究提出改进的全局连通性维护算法,结合单智能体、钉扎及质心三种自适应监督策略,为多机器人系统提供触觉反馈以辅助人类操作。用户研究显示,该方法在多种场景下有效维持了智能体间约束并提升了人机协作性能。论文基于雷恩大学 IRISA 实验室的博士论文,于 2025 年 4 月答辩并通过 arXiv 发布。

  26. arXiv · 机器人与计算机视觉84

    HiLo-WAM:解耦世界动作模型中的长程任务演化与局部动态

    该论文提出 HiLo-WAM 架构,旨在解决现有世界动作模型(WAMs)在捕捉长程任务上下文方面的不足。方法通过稀疏长程视觉流和密集局部动态流,在统一的双 DiT 架构中分别建模历史任务背景与短时机器人 - 物体交互,并利用结构化跨流注意力引导动作生成。

    推荐理由:该工作提出 HiLo-WAM,通过解耦长程任务演化与局部动态并联合建模交互,在 RoboTwin 2.0 等基准上实现高成功率与推理加速。

  27. arXiv · 机器人与计算机视觉75

    LLM 作为 MDP 设计者:一种依赖感知的代理框架用于自动机器人策略生成

    该论文提出 ARPG 框架,利用大语言模型作为设计者而非执行决策者来构建机器人强化学习管道,包括马尔可夫决策过程(MDP)建模和仿真器实现。实验表明,该方法在 Isaac Sim 中相比单一 LLM 基线和现成代理系统,显著提升了建模正确性、环境可执行性和策略生成成功率。

  28. arXiv · 机器人与计算机视觉78

    基于障碍认证安全架构的腿部视觉语言导航研究

    该论文针对预训练大模型在具身智能导航中缺乏物理落地与显式安全保证的问题,提出一种模块化系统:集成高层 VLA 规划器与低层物理感知层,利用 SDF 表示和离散指数障碍函数约束 MPPI 规划器,为腿部机器人提供可证明的碰撞避免保证。系统在双足和四足机器人上进行了广泛的真实世界实验,验证了其高效、安全且通用的视觉语言驱动导航能力。

    推荐理由:本文提出通过障碍函数约束与 SDF 感知为双足及四足机器人的 VLA 导航提供可证明的碰撞避免保证,并在真实机器人上验证了安全性。

  29. arXiv · 机器人与计算机视觉78

    Trusting Imagined Futures:通过审计想象奖励优化 VLA 后训练方法

    视频世界模型虽能评估候选动作的想象结果,但高预测奖励常偏向执行质量差的轨迹。本文提出 Trusting Imagined Futures (TIF),一种离线监督选择方法,利用多维奖励模型和不确定性审计器识别过估计模式。

    推荐理由:该工作提出利用执行反馈审计想象奖励以筛选 VLA 后训练数据,在 LIBERO 基准上提升成功率并在真实机器人任务中提高完成度。

  30. arXiv · 机器人与计算机视觉78

    通过动作条件潜变量前瞻协调人形机器人体操与操作

    论文提出一种动作条件潜变量前瞻(action-conditioned latent foresight)方法,构建潜在世界 - 动作模型以在执行前评估指令序列。

    推荐理由:提出动作条件潜变量前瞻方法,在仿真与真实机器人任务中均优于基线,验证了潜在世界 - 动作模型的有效性。

  31. arXiv · 机器人与计算机视觉45

    多旋翼飞行器能量最优水平飞行质量缩放定律研究

    该工作推导了多旋翼飞行器在机身几何与气动特性不变条件下,仅因负载变化导致质量改变时的能量最优稳态水平飞行行为缩放关系。实验验证表明:能量最优速度与质量的平方根成正比、最优俯仰角随质量恒定、单位距离能耗与质量成正比。这些定律支持通过简单的巡航速度规划来优化能效并延长续航范围。

  32. arXiv · 机器人与计算机视觉75

    CLARA:一种认知驱动的模糊请求澄清框架

    针对大视觉语言模型处理模糊指令时易过度自信的问题,本文提出 CLARA 框架,模仿人类行为主动向用户提问以获取关键细节,将模糊指令转化为结构化方案并生成目标场景渲染图作为理解确认。实验与用户研究证明该方法比现有最先进系统更准确一致,填补了模糊指令与具体任务规范之间的差距。

  33. arXiv · 机器人与计算机视觉68

    动作意图作为桥梁:将人类中心视频中的操作知识迁移给机器人

    针对 VLA 模型依赖昂贵真实机器人数据的瓶颈,本文提出 Action-Intent Transfer (AIT) 方法,通过两阶段流程从人类视频中提取并解耦明确的动作意图,在共享意图空间对齐人机域并将其解码为可执行动作。实验表明该方法比现有基线更有效地迁移人类知识且表现一致。

  34. arXiv · 机器人与计算机视觉75

    基于 MPM 引导的 3D 高斯仿真的物理扩散策略

    论文提出一种感知物理的扩散策略框架,通过耦合 3D 高斯泼溅与可微材料点法(MPM)仿真,从视觉演示中恢复物体材质属性。估计的物理条件被集成到材质感知的专家混合扩散策略中,以实现不同物理 regime 下的自适应行为生成。此外,引入了无需在线优化即可高效检索物理信息的物理记忆库。在多种模拟和真实世界物体上的实验表明,该方法相比现有的基于扩散的方法提升了操作成功率与泛化能力。

  35. arXiv · 机器人与计算机视觉54

    All-For-One:一种将视觉基础模型蒸馏为快速、内存高效的视觉运动策略的方法

    针对直接部署视觉基础模型(VFM)存在计算成本高、时序不一致及分布偏移等问题,本文提出 All-For-One 两阶段蒸馏框架。该方法在训练阶段利用 VFM 作为特权信息融合 RGB 观测以学习语义增强表示,随后将知识蒸馏至仅依赖 RGB 的轻量级学生策略网络。

  36. arXiv · 机器人与计算机视觉72

    面向多任务机器人操作的谱路由扩散策略

    该论文提出 SR-DP(Spectrally Routed Diffusion Policy)以解决多任务机器人操作中的性能瓶颈。针对卷积编码器视觉条件判别力不足及不兼容动作模式导致的梯度干扰问题,作者设计了冻结 VGGT 编码器与空间压缩适配器生成紧凑语义几何令牌,并通过谱路由和 Householder 输入旋转分解线性层为正交秩一专家基。