跳到正文
10月27日周二
  1. arXiv · 机器人与计算机视觉72

    OneDemo:基于单一演示的统一策略学习与数据生成方法

    该论文提出 OneDemo 强化学习框架,将演示编辑建模为结构化问题,使智能体学会从稀疏奖励中切换对象中心轨迹段并进行几何适配。该方法在 Meta-World 的 15 个任务上平均仅需 53.7k 环境交互即达 92.7% 成功率;在 DexMimicGen 的 9 个任务上生成演示的平均成功率为 98.4%,基于此数据训练的 BC-RNN 策略在同等规模数据集下平均成功率达 99.6%。

  2. arXiv · 机器人与计算机视觉62

    CognitiveReality:基于 LLM Agent 的机器人无关语义高斯映射与沉浸式协作 VR 遥操作

    该论文提出 CognitiveReality 系统,将机器人的 RGB-D 流转化为由算子共享的实时语义索引高斯-TSDF 地图,支持通过配置适配不同平台。系统在定位中断时利用影子跟踪器和关键帧锚定 PnP 维持鲁棒性,并通过验证过的类型化工具将语音和控制器射线映射到持久化场景对象上。

  3. arXiv · 机器人与计算机视觉78

    Expert-Play Contouring Control:从慢速专家到快速游玩的超演示规划

    arXiv 论文提出 Expert-Play Contouring Control (EPCC),解决模仿学习继承演示时序导致无法加速的问题。方法利用专家数据训练潜在轨迹生成器以获取任务意图,同时用快速游玩数据训练世界模型以覆盖动力学变化;部署时优化动作沿专家轮廓最大化进度并惩罚偏离。

    推荐理由:提出结合专家演示与快速游玩数据的控制方法,在三个视觉运动任务中将吞吐量提升两倍。

  4. arXiv · 机器人与计算机视觉52

    面向自动牵引车挂车的前向与后向机动新型路径跟踪算法

    针对物流、农业和工业环境中对精确且鲁棒的路径跟踪能力的需求,本文介绍了一种专为单拖车铰接车辆设计的新颖路径跟踪算法。该方法结合了施加在拖车层面的横向控制律与拖拉机转向角的短视界预测调整,确保在前进和倒车运动中稳定收敛至期望路径。

  5. arXiv · 机器人与计算机视觉82

    VLN on the Fly:一种用于空中机器人的车载视觉语言导航栈

    VLN on the Fly 是一种在四旋翼无人机上完全本地运行的模块化视觉语言导航栈,将指令落地、三维规划与控制作为可检查的独立阶段。该栈利用量化 VLM 进行粗粒度图像单元定位,通过深度估计提升为三维目标,使用快速 B-样条规划器生成可行轨迹,并由预训练的强化学习策略跟踪至电机指令。

    推荐理由:该预印本提出了一种在四旋翼无人机上完全本地运行的模块化视觉语言导航栈,实现了指令落地、三维规划与闭环控制的分阶段执行。

  6. arXiv · 机器人与计算机视觉82

    ForceDelta-VLA:一种用于接触丰富操作的力条件动作修正蒸馏框架

    论文提出了 ForceDelta-VLA 框架,旨在解决现有 VLA 策略在接触丰富操作中难以分解任务级运动与接触调整的问题。该方法利用冻结教师模型的力条件与无学习模式预测构建显式的力修正目标,并引入延迟修正以处理参考动作失配。

    推荐理由:提出 ForceDelta-VLA 框架,通过蒸馏力条件动作修正提升接触丰富任务成功率至 82.2%,并降低峰值接触力。

  7. arXiv · 机器人与计算机视觉78

    X-WBC:一种面向人形全身控制的跨躯体基础模型

    针对现有方法每款机器人单独训练导致运动经验隔离的问题,该研究提出 X-WBC 框架,将相对共享的人体运动语义与本体特定的物理执行分离。通过人体中心指令 token 对齐全量人体运动、机器人参考运动及稀疏 VR 观测,利用因果 Transformer 从混合多机器人 rollout 中学习可复用时间结构,并通过轻量级本体特定模块映射到各机器人的本体感知与动作空间。

    推荐理由:该工作提出跨躯体基础框架,通过解耦共享语义与本体执行实现多机器人联合训练,为具身智能通用部署提供新路径。

  8. arXiv · 机器人与计算机视觉62

    基于机器人运动的密钥化通信通道研究

    该研究提出一种通过修改机器人动作来传输可被远程传感(如视频或动捕)检测到的消息的方法,将任意内容编码为预训练策略动作中的噪声。该方法在无需额外硬件或直接链路的情况下提供鲁棒性,已在仿真环境和真实机器人部署中验证;真实机器人在 50 Hz 运行频率下,四台机器人联合以 0.8 bits/s 的速率恢复 8 位消息。

  9. arXiv · 机器人与计算机视觉82

    GE-Act 2.0:预训练与扩展用于机器人操作的行动世界模型

    AgiBot Research Team 发布了 GE-Act 2.0,这是一个从头开始预训练的“世界 - 行动”模型(WAM),旨在指导机器人操作。该模型结合了控制导向自编码器、单步视觉规划器和逆动力学模型,并通过知识对齐的选择性优化进行联合训练。

    推荐理由:报告了从 300 小时到 3 万小时协同训练数据对机器人操作成功率的影响,并验证了跨本体迁移与零样本泛化能力。

  10. arXiv · 机器人与计算机视觉75

    单句修正能解决什么?——冻结的视觉语言动作策略失效分类与最小化语言校正研究

    当部署后的视觉语言动作(VLA)策略失败时,人工通常能用一句话描述问题,但并非所有错误都能通过语言修正。该研究对 OpenVLA-OFT 和 pi0.5 在 LIBERO-90 任务上的失效进行了标注与分类,发现仅“执行偏差”模式可通过单句校正解决,其他三类因缺乏目标或计划无法修复。

  11. arXiv · 机器人与计算机视觉75

    基于 SMPC 演示的 loco-manipulation 学习与稀疏离线到在线 RL

    该论文提出了一种结合样本预测控制(SMPC)与强化学习的框架,旨在解决机器人自主性中移动与操作整合时的奖励塑造瓶颈。研究完全在仿真环境中利用 SMPC 作为自动化专家生成大规模离线数据集,从而解决了探索问题,使得后续可以使用纯稀疏任务奖励训练离线策略 RL 智能体。

  12. arXiv · 机器人与计算机视觉68

    SHRIMP:基于自然语言的机器人任务计划迭代精炼系统

    SHRIMP 是一个允许用户通过自然语言自动生成机器人分层原语计划并进行迭代修订的系统。该系统利用大语言模型将指令转化为计划,并在每次修订中支持用户在仿真环境中验证计划,满意后再在物理机器人上执行。针对桌面厨房任务的实验(n=35)表明,该方法提升了用户的感知控制力并增强了机器人操作的透明度。相关系统视频与源代码已公开。

  13. arXiv · 机器人与计算机视觉72

    Shooting for Contact:面向动态运动重定向的接触隐式多射击方法

    针对现有运动重定向方法过于侧重运动学相似性而忽视全身动力学、接触一致性和执行器限制的问题,本文提出一种基于直接模拟的接触隐式多射击(DSMS)框架。该框架将可微分模拟器嵌入非线性规划中,在内部解决接触、摩擦、碰撞及关节限位问题,同时施加跟踪与任务约束,无需预设接触时间表或引入显式接触约束。

  14. arXiv · 机器人与计算机视觉82

    Staged Multi-Agent Training for Human-Exoskeleton Co-Adaptation:基于仿真的学习与真实世界代谢及生物力学验证

    针对人机共适应难题,研究提出分阶段多智能体训练方法,在仿真中联合训练肌肉骨骼人体与双髋外骨骼策略。该策略无需用户特定重训即可转移至物理设备,在八名健康成人实验中,主动辅助使净代谢率较被动模式降低 19.7%,且跨速度与地形保持有效协助能力。

    推荐理由:提出分阶段多智能体训练框架,在仿真中联合优化人体与外骨骼策略,实机验证显示主动辅助降低代谢率 19.7%。

  15. arXiv · 机器人与计算机视觉42

    Plug, Play and Comply:基于插件的 ROS 2 合规控制框架发布

    该研究提出一种机器人无关的框架,通过插件架构将 ROS 控制器模板与控律实现分离,支持刚度、阻尼及零空间目标等标准接口。系统利用 Pinocchio 计算 URDF 动力学,并在真实机器人曲面跟随实验中验证了在线任务对齐合规性,同时展示了跨不同运动学特性的机械臂移植能力。完整框架含参考控制器与高层任务接口作为开源软件提供。

  16. arXiv · 机器人与计算机视觉42

    DCGrasp:基于距离感知扩散模型的可控抓取生成框架

    DCGrasp 是一个多模态扩散框架,通过新颖的抓取能量项计算手部顶点到最近物体点的有向距离分布,实现了对多样物体几何形状的高质量、几何合理且具备灵活用户控制的抓取生成。该方法结合 Diffusion Transformer 生成候选手姿并通过优化在近接触区域强制一致性,已接受于 SIGGRAPH Asia 2026。项目页面提供包含动态可视化的补充视频以展示效果。

  17. arXiv · 机器人与计算机视觉78

    LaWAM:基于潜在世界动作模型的机器人策略

    LaWAM 是一种潜在世界动作模型,通过预训练视觉基础模型的潜在空间训练动作模型并复用其前向解码器来预测场景演化的未来观测特征,从而为机器人策略提供动力学感知能力。该方法在 LIBERO、RoboTwin 及真实操作任务中取得了具有竞争力的成功率,且每步推理延迟仅为 187ms,比像素空间方法低约 24 倍。材料已接受于 CoRL 2026。

    推荐理由:该工作提出利用潜在视觉子目标替代视频生成,在保持低延迟的同时实现动力学感知的机器人控制。

  18. arXiv · 机器人与计算机视觉65

    GeoHAT:面向移动操作的几何自适应混合动作 Transformer

    针对全身移动操作需协调移动底盘与机械臂且面临几何感知挑战的问题,本文提出 GeoHAT 端到端扩散框架。该方法利用轻量傅里叶空间编码器将像素级 3D 坐标映射为几何 token,并通过深度有效性门控融合注入视觉基础模型特征;动作生成部分采用混合全身动作解码器,将臂与底盘分解至不同子空间并分别关注任务相关视觉上下文。

  19. arXiv · 机器人与计算机视觉68

    面向水面无人艇漂移目标搜索与捕获的 MPPI 信息轨迹规划

    论文提出一种基于模型预测路径积分(MPPI)控制的自适应信息规划方法,用于解决开放水域环境中多个漂移目标(如垃圾)的搜索与捕获问题。该方法通过耦合时空漂移预测与探索目标的代价函数,平衡搜索与跟踪任务,直接生成长时域连续轨迹的运动学指令;在拦截阶段采用纯追踪引导进行物理捕获。仿真结果显示该规划器比最强基线多捕获 18% 的目标,并在实地试验中得到了验证。

  20. arXiv · 机器人与计算机视觉62

    Haptic Sorter:一种用于在线形状估计与实时位姿推断的统一规划框架

    论文提出 Haptic Sorter 框架,整合触觉感知、建模与操作规划以解决几何信息缺失问题。核心创新包括利用贝叶斯优化引导触觉探索以近似超椭圆边界、自适应编码物体几何的操纵势函数以及基于模型预测和触觉反馈的在线 ODE 位姿推断。系统在二维机器人分拣任务中验证了其在仿真及真实多臂设置下的鲁棒性与泛化性,相关代码与论文已发布于 arXiv。

  21. arXiv · 机器人与计算机视觉72

    LLM 引导的未来假设用于多步机器人操作中的视域感知探索

    针对多步机器人操作中场景演化不确定性问题,研究提出通过未来经验条件化(FEC)接口,利用 LLM 推理器、数字孪生和扩散模型生成短视界未来视频作为控制与强化学习微调的结构化先验。在 RoboCasa 和 CALVIN 仿真环境中对比了无未来、生成未来及错误未来等条件下的策略表现,发现生成的未来视频能提升性能而失配的未来会退化效果,且 BC+RL 架构综合表现最强。

  22. arXiv · 机器人与计算机视觉82

    RoboEvolve:基于有限数据的机器人操作规划器 - 模拟器协同进化框架

    该论文介绍 RoboEvolve 框架,通过耦合视觉语言模型(VLM)规划器和视频生成模型(VGM)模拟器构建相互强化的协同进化循环。系统利用无标签种子图像启动自进化,采用认知启发的双阶段机制:日间探索促进物理基础的行为发现,夜间巩固挖掘“差一点成功”的失败案例以稳定策略优化。

    推荐理由:提出 VLM 规划器与视频生成模拟器协同进化的框架,利用无标签种子图像实现数据高效训练并提升底层控制成功率。

  23. arXiv · 机器人与计算机视觉70

    BEACON:通过最佳努力适应进行跨域生成机器人策略联合训练

    论文介绍 BEACON 框架,这是一种理论引导的方法,用于在拥有大量源演示但目标演示有限的情况下训练生成型机器人策略。该方法将跨域联合训练视为差异感知的重要性重加权问题,通过学习基于扩散的视觉运动策略和每样本源权重来优化性能。实验涵盖仿真到仿真、仿真到现实及多源操作设置,结果显示其在鲁棒性和数据效率上优于仅使用目标数据或固定比例联合训练的基线。

  24. arXiv · 机器人与计算机视觉70

    面向视觉语言模型集成的室内移动机器人:混合确定性推理与跨机器人自适应记忆框架

    该研究提出了语义自主堆栈(SAS),这是一个六层集成框架,旨在连接人类指令与空间目的地并保留操作经验。系统采用‘确定性优先’级联架构,结合路线图、语义对象和状态信息处理任务,仅在必要时将未决案例升级至预训练的视觉语言模型(VLM)。

  25. arXiv · 机器人与计算机视觉82

    未知动态环境下的可见性感知移动抓取研究

    针对未知且动态环境中机器人需利用有限视场摄像头接近并抓取目标物体的场景,提出统一系统以运行时强制执行可见性约束。该系统包含速度感知注视策略、分层子目标策略及实时全身规划器。

    推荐理由:提出统一系统,在动态环境中通过视线策略与全身规划器解决可见性约束,相比解耦方案显著提升成功率并降低碰撞。

  26. arXiv · 机器人与计算机视觉62

    通过移位寄存器复用实现灵巧机器人手的高速可扩展传感器读出

    针对灵巧机器人手多自由度传感需求,本文提出基于串行输入并行输出(SIPO)移位寄存器原理的可扩展模拟传感器读出架构。该架构支持异构模拟输出传感器的灵活集成,仅需三条信号线即可实现模块间可扩展扩展,并具备快速可配置采样能力。

  27. arXiv · 机器人与计算机视觉72

    SentryVLA:基于不确定性的视觉语言动作机器人控制中的动作选择与状态监测

    论文介绍 SentryVLA,这是一个针对冻结的预训练视觉语言动作(VLA)策略的轻量级运行时包装器。该方法在动作层面利用校准分位数回归估计动作偏差上界以优化候选动作选择,在执行监测层面基于马氏距离计算异常分数以检测闭环控制中的非正常状态。实验表明,该框架无需修改底层模型架构或重新训练即可提升动作选择质量并提供运行时的异常预警信号。

  28. arXiv · 机器人与计算机视觉65

    AffordSim:一种可扩展的功能感知机器人操作数据生成器与基准

    针对现有仿真数据生成器缺乏任务语义或需人工标注的问题,该研究提出 AffordSim,将开放词汇 3D 功能预测集成到基于仿真的轨迹生成中。给定自然语言描述,系统合成场景、发射功能查询并在地面化物体表面采样区域条件化的抓取,再经运动规划筛选可执行候选。

  29. arXiv · 机器人与计算机视觉42

    PrepTurn:强化学习框架实现快速序列四足导航中的预期机动

    PrepTurn 是一个强化学习框架,通过直接映射当前与下一姿态目标到关节动作,利用持久信用奖励和自动课程解决序列任务中的走走停停问题。Unitree Go2 的仿真与车载实验表明,该方法实现了高效遍历、高完成率及减少的非必要停顿。当容差放宽时,策略还能涌现提前转向等新兴行为以提升效率。

  30. arXiv · 机器人与计算机视觉82

    RoboGene:面向 VLA 预训练的多样性驱动智能体任务生成框架

    针对通用机器人操作数据稀缺且采集成本高的问题,论文提出 RoboGene 框架,结合多样性采样、智能体自反评估与人验证反馈记忆,自动生成单臂、双臂及移动机器人的多样化操作任务。

    推荐理由:提出 RoboGene 框架,通过多样性驱动采样与智能体自反机制生成高质量操作任务,显著提升 VLA 模型泛化能力。

  31. arXiv · 机器人与计算机视觉72

    FlowHOI:面向灵巧操作的语义 grounded 手物交互生成方法

    针对现有视觉语言动作模型在手物交互结构表示上的不足,该研究提出 FlowHOI 框架,通过两阶段流匹配生成语义 grounded、时序连贯的手物交互序列。该方法解耦几何抓取与语义操作,利用紧凑的 3D 场景 token 和运动文本对齐损失进行条件控制,并引入重建管道从大规模第一人称视频中恢复手物轨迹以解决高保真监督稀缺问题。

  32. arXiv · 机器人与计算机视觉82

    UniManip:基于代理操作图的开放世界机器人操作研究

    UniManip 是一个统一的机器人操作框架,核心是代理操作图(AOG),用于任务编排、状态跟踪和闭环故障恢复。该框架将高层语义意图转化为可执行原语,通过物理感知的场景图和局部规划器生成无碰撞轨迹,并利用结构化记忆自主诊断失败。

    推荐理由:该框架通过代理操作图统一任务编排与物理交互,在 LIBERO-Pro 基准及真实场景中实现零样本泛化,优于主流 VLA 模型。

  33. arXiv · 机器人与计算机视觉65

    DWPP:考虑速度与加速度约束的动态窗口纯 Pursuit 算法

    针对传统纯 Pursuit 算法未显式处理速度与加速度约束导致指令与实际速度偏差的问题,本文提出动态窗口纯 Pursuit(DWPP)算法。该方法在速度空间重构了指令速度计算过程,选取动态窗口内最接近特定直线的点作为指令速度,从而避免违反约束的命令并提升路径跟踪精度。该算法已集成至官方 Nav2 仓库并向公众开放。

  34. arXiv · 机器人与计算机视觉68

    CRAFT-E:一种用于功能属性 grounding 的可解释可编辑神经符号框架

    针对非结构化环境中辅助机器人需推理物体功能及非常规用途的挑战,该工作提出 CRAFT-E 框架,通过组合大语言模型生成的动词 - 属性 - 对象知识图、CLIP 视觉对齐与基于能量的抓取推理,实现可解释的 grounding 路径与无需重新训练的编辑能力。

  35. arXiv · 机器人与计算机视觉78

    Guardian:利用视觉语言模型检测机器人规划与执行错误

    针对机器人操作失败检测中高质量失败数据稀缺的问题,本文提出自动框架在仿真与现实环境中生成多样化规划与执行失败轨迹,构建 GuardianFail-36k 大规模推理数据集。基于此训练的多视角推理 VLM(Guardian)在三类未见现实基准上达到最先进水平,并与先进 LLM 操作策略集成后显著提升任务成功率。代码、数据及模型已开源。

    推荐理由:提出自动框架生成多样化机器人规划与执行失败数据,构建大规模推理数据集并训练多视角 VLM 以统一验证规划与执行。