跳到正文
10月20日周二
  1. arXiv · 机器人与计算机视觉82

    LynxScenes:面向户外轮足机器人的大规模现实世界基准数据集与评测套件

    arXiv 预印本介绍 LynxScenes,这是一个基于 LYNX M20 轮足机器人采集的大规模户外现实世界数据集与基准。数据包含约 10 万段 30 秒导航片段(总时长 833.6 小时、里程 3,294.7 公里)及 300 万帧标注,涵盖四路鱼眼相机、双激光雷达、IMU、里程计与机器人状态。

    推荐理由:该基准提供轮足机器人户外导航、感知与世界模型的密集标注数据及评估工具,可帮助研究者验证现有方法在真实场景下的不足。

  2. arXiv · 机器人与计算机视觉49

    Bootstrapping Video Interaction Generation with Synthetic State Transitions 框架发布

    该研究提出利用合成状态转换引导视频交互生成的新框架,通过结构化分类学与图像编辑模型构建可控交互数据集。提出的 State-Guided Sampling (SGS) 采样技术有效缓解了条件生成中的伪影问题,配合自动化评估系统确保数据质量符合人类判断标准。实验表明,在基模型上微调该数据集能显著提升其生成合理物理交互的能力,为机器人及 VR/AR 应用提供关键突破。

  3. arXiv · 机器人与计算机视觉82

    RoboEdit:将人类操作视频转化为可扩展的机器人经验

    针对收集机器人手物交互数据成本高且具身特定的问题,本文提出 RoboEdit 人机视频编辑套件,可将人类操作视频转化为动作一致、物理合理且手部状态对齐的机器人视频。

    推荐理由:提出 RoboEdit 工具链与数据集,将海量人类操作视频转化为物理合理的机器人训练数据。

  4. arXiv · 机器人与计算机视觉82

    TRACT:面向富接触操作的时序路由动作块与时间相位权威

    该研究针对机器人模仿学习中的时序相位错配问题,提出了 TRACT 方法,将相位结构化动作块分解为当前接受相位与未来视界内的单一边界。通过任务局部图约束时间相位权威,并引入因果响应赤字积分器处理接触执行中的补偿与恢复。

    推荐理由:论文提出 TRACT 方法解决机器人模仿学习中时序相位错配问题,在六款真实机器人上实现全序列成功与零停滞。

  5. arXiv · 机器人与计算机视觉82

    具身智能体接管控制:最小接口零样本代理媲美工业级策略

    论文研究了通用模型如何通过最小接口直接引导感知、行动、验证和自纠正的决策循环,提出‘具身代理控制’概念。研究评估了十四款前沿多模态模型在六个导航及问答基准上的表现,发现最佳代理在部分子集上超越已发表分数并接近人类测试者水平。

    推荐理由:该研究评估了十四款前沿多模态模型在导航与问答任务中的表现,发现最小接口代理能接近人类水平,但受限于身体感知与空间理解。

  6. arXiv · 机器人与计算机视觉42

    Dec-MARVEL:无通信多智能体探索策略在预算约束下实现最优覆盖率

    Dec-MARVEL 是一种无需通信的分布式多无人机探索策略,能在有限移动预算内联合选择航点与观测方向。该策略在 900 次独立测试中,于最紧 720 米预算下使 2、4、8 机队的成功率分别达 46%、84% 和 94%,显著优于最强基线。物理机器人实验证实生成的航点计划可执行且符合预算约束。

  7. arXiv · 机器人与计算机视觉72

    GemNav:基于多模态大模型的离散 Token 机器人导航策略

    论文提出 GemNav,一种将机器人局部航点坐标表示为离散度量值分数的概率分布并软解码为连续坐标执行的视觉导航策略。该方法利用度量距离目标采样构建训练轨迹,仅需 8.7 小时 SCAND 公开数据集即可训练,在未见环境和三种物理不同的机器人平台上实现了无需重新训练的跨平台迁移,且相比基于帧的采样和连续回归头展现了更可靠的避障与分布外泛化能力。

  8. arXiv · 机器人与计算机视觉72

    具身智能体架构设计的自动化方法研究

    本文研究了如何将针对文本域的智能体架构搜索(AAS)技术迁移至感知具身智能体领域。作者引入了 AgentCanvas 作为可编辑的有类型图表示,支持仿真执行与日志记录;将优化器从大语言模型调用循环升级为利用工具的编码智能体会话,并提出了知识蒸馏循环(KDLoop)。

  9. arXiv · 机器人与计算机视觉70

    EDITH:基于第一人称视角和视线的非语言人类意图跟随框架

    EDITH 是一个机器人框架,通过智能眼镜实时流式传输人类的第一人称视角、视线及语音(转录为语言指令),利用分层策略将高层意图推断与子任务序列生成相结合。实验表明,即使人类仅短暂表达非语言信号,该框架也能让机器人据此行动,显著降低用户传达意图的 effort。

  10. arXiv · 机器人与计算机视觉82

    GRAIL:基于世界模型生成人形机器人移动与操作策略

    GRAIL 是一种数字生成管线,通过结合 3D 资产和仿真就绪场景构建视频世界模型,无需重建物理环境即可合成交互数据。该方法利用已知的几何参数减少深度模糊,恢复度量级的人机物交互轨迹,并训练任务通用的跟踪器以适配人形机器人。仅使用 GRAIL 生成的数据,团队在 Unitree G1 上实现了多样化物体拾取 84% 的成功率和爬楼梯 90% 的成功率。

    推荐理由:GRAIL 利用全虚拟的数字生成管线合成人形机器人操作数据,在 Unitree G1 上实现了高成功率的任务部署。

  11. arXiv · 机器人与计算机视觉72

    Seeing Together:基于多模态大模型的协作式自我中心空间推理研究

    针对多模态大模型在多机器人协作空间推理上的不足,本文提出首个基准 CoopSR 及数据集 EgoTeam,涵盖合成环境与真实四足机器人测试集。作者构建了 SG-CoR 框架,通过动态帧采样与几何引导视图融合实现细粒度协作推理,在 Habitat 和 iGibson 上显著优于最强微调基线,并支持未见团队规模泛化。代码已开源。

  12. arXiv · 机器人与计算机视觉82

    Mono-Hydra++:基于多任务学习的单目实时三维室内场景图构建

    Mono-Hydra++ 是一种面向敏捷机器人的单目 RGB 加 IMU 流水线,用于室内度量 - 语义映射和分层三维场景图构建。系统结合 DINOv3 基的多任务模型 M2H-MX 与深度视觉惯性里程计前端,在 Go-SLAM ScanNet 子集上比最强 RGB-D 基线平均轨迹误差低 1.6%,在校准的 7-Scenes 数据集上将平均 ATE 提升 29.8%。

    推荐理由:该工作提出仅凭单目 RGB+IMU 实现实时三维场景图构建,在资源受限平台上替代深度传感器,代码与模型权重已开放。

  13. arXiv · 机器人与计算机视觉71

    SpaAct:一种用于视觉语言导航的空间激活过渡学习方法

    该论文提出 SpaAct 框架,旨在让视觉语言模型(VLM)具备在未见过的三维环境中遵循指令进行导航的能力。方法引入动作回顾与未来帧选择两个任务以分别强化反向动作推理和正向过渡预测能力,并设计 TriPA 课程学习策略从基础运动逐步过渡到长程推理。实验表明该方法在标准 VLN-CE 基准上取得最先进性能,代码与模型将公开支持后续研究。

  14. arXiv · 机器人与计算机视觉84

    Think before Go:面向图像目标导航的分层推理方法

    该研究针对现有端到端导航策略在远距离或跨房间场景中易迷失的问题,提出分层推理导航框架。该方法利用视觉语言模型生成高层短视域规划(如通过门还是走走廊),再由在线强化学习策略执行低层动作,并引入游荡抑制惩罚减少无效探索。实验表明该方法在仿真与真实环境中均优于现有方法。

    推荐理由:提出分层推理导航框架,将长程任务拆解为高层规划与低层执行,并引入游荡抑制惩罚以解决远距离目标定位难题。

  15. arXiv · 机器人与计算机视觉65

    ICAT:基于事故案例的自适应测试用于具身世界模型的物理风险预测

    针对参考图像条件化视频生成器难以预测物理危害的问题,本文提出 ICAT 基准,利用结构化风险记忆和人工验证构建包含 909 个评估单元的测试集。结果显示,即便初始状态和风险动作被保留,六种主流生成系统中最强者在八选一筛选下的严重后果严格成功率仅为 23.5%,暴露了复现风险动作与生成其文档化后果之间的差距。该工作已接受 NeurIPS 2026 海报展示。

  16. arXiv · 机器人与计算机视觉78

    DeReCo:解耦表示与协调学习以实现对象自适应去中心化多机器人协同抓取与搬运

    针对多机器人协同抓取与搬运中对象依赖的表示学习与非平稳性下的协调学习耦合问题,论文提出 DeReCo 框架。该框架采用两阶段训练策略:先在特权信息下学习协调策略,再基于局部观测重构对象依赖表示并重新训练协调策略以实现去中心化执行。

    推荐理由:提出 DeReCo 框架解耦表示与协调学习,在仿真和真实机器人实验中验证了跨物体泛化能力。

  17. arXiv · 机器人与计算机视觉85

    ULTRA:面向人形机器人全身自主运动操作的统一多模态控制框架

    针对现有方法依赖预定义动作参考且难以扩展技能库的局限,该研究提出 ULTRA 统一框架。其核心包含物理驱动神经重定向算法,用于将大规模动捕数据迁移至人形机器人并保持接触交互的物理合理性;以及支持从精确动捕状态到嘈杂自中心视觉输入的通用多模态控制器。

    推荐理由:该工作提出 ULTRA 框架,通过物理驱动重定向与统一多模态控制器,实现从稀疏感知到全身自主 loco-manipulation。

  18. arXiv · 机器人与计算机视觉80

    在线世界建模实现真实世界的观察逆强化学习

    当前机器人学习受限于手工设计奖励、仿真建模或动作监督。本文提出首个仅凭任务观察(如视频)即可学习的逆强化学习方法 IRLfO,并展示了首个在真实世界中从零开始学习视觉操作及跨任务正迁移的演示。MPAIL2 模型在不到 40 分钟内从零基础学习到抓取放置任务达到 82% 成功率,而同等交互和演示预算下的强化学习与行为克隆方法分别仅达 0% 和 12%。

    推荐理由:该工作提出首个基于在线世界模型的视觉操作逆强化学习方法,在真实世界中实现从观察学习抓取放置任务。

  19. arXiv · 机器人与计算机视觉82

    KungfuAthleteBot:基于视频学习的具身智能高动态运动与统一鲁棒性恢复框架

    KungfuAthleteBot 是一个针对人形机器人的统一框架,旨在解决从视频学习高动态动作时存在的漂移、信息缺失及鲁棒性不足问题。该工作联合专业武术家构建了高质量数据集,引入物理引导的抛物线轨迹修正以消除高度漂移和抖动,并设计了三阶段课程学习策略。

    推荐理由:该工作提出统一框架,通过物理引导轨迹修正与免教师训练范式,实现了人形机器人从视频学习高动态动作及快速跌倒恢复。

  20. arXiv · 机器人与计算机视觉70

    Constitutional Controller:基于自怀疑校准的顺从智能体控制

    该工作针对不确定环境中自主智能体的可靠性和规则遵循问题,提出了 Constitutional Controller (CoCo) 框架。该方法融合概率符号白盒推理与深度学习,引入“自怀疑”概念(基于速度、传感器状态等特征的概率密度),在真实空中移动研究中展示了其在复杂不确定环境下安全合规导航的优势。论文已接受发表于 2026 IEEE/RSJ IROS 会议。

  21. arXiv · 机器人与计算机视觉68

    LLM-Flock:一种基于大模型的分布式多机器人编队框架

    针对直接应用大语言模型进行多机器人编队控制时易出现行为不稳定或发散的问题,本文提出 LLM-Flock 框架。该框架通过基于影响的共识协议让机器人迭代优化编队计划以实现无中心协调,并采用结合大模型紧迫性推理与程序化碰撞检查的双层避障策略。

  22. arXiv · 机器人与计算机视觉28

    基于运动学方法与 LSTM 模型检测足跟触地与离地事件研究

    该研究评估了七种运动学方法及 LSTM 模型在 588 名受试者共 4363 个步态周期中检测足跟触地和离地事件的性能。结果显示 Zeni et al. 方法精度最高,而 LSTM 模型表现相当且无系统性偏差,为步态分析提供了数据驱动替代方案。论文已获 IEEE ICARM 2026 会议接收并授予最佳演示奖,未来将探索其在病理人群中的泛化性。

  23. arXiv · 机器人与计算机视觉65

    AnyNav:基于视觉神经符号摩擦学习的非结构化环境导航方法

    针对非结构化环境下机器人导航中物理模型难以捕捉非线性动力学、数据驱动方法泛化性差的挑战,本文提出 AnyNav 框架。该框架结合神经网络进行视觉感知与符号物理模型推理地形 - 车辆动力学,采用指令学习范式及双层优化训练摩擦网络,显著提升跨地形、多车型及工况的泛化能力。

  24. arXiv · 机器人与计算机视觉68

    宪法过滤器:合规代理的贝叶斯估计

    论文介绍了一种名为宪法过滤器(CoFi)的方法,用于在存在法律政策、物理限制和操作偏好等复杂条件下预测智能体行为。该方法将机器学习与符号推理结合,通过贝叶斯估计框架确保智能体符合可解释的神经符号模型约束。研究在真实世界海洋交通数据上评估了 CoFi 的性能,展示了其在跟踪合规代理方面的改进效果,并证明了即使假设的宪法与现实不符,系统也能自适应调整信任度以恢复基线性能。

  25. arXiv · 机器人与计算机视觉42

    CARVS:一种面向人机协作仓库的在线多智能体取送货拥堵感知算法

    CARVS 算法通过整合任务交换、验证检查与随机初始化,解决了人机协作中因人类不确定性导致的动态障碍与路径规划超时难题。仿真结果显示,该算法在大规模场景下显著降低了传统 MAPD 算法失效时的路径规划超时时间,提升了效率与可扩展性。论文已被 DAI 2026 会议录用并发表口头报告,代码与数据暂未提及开源许可。

  26. arXiv · 机器人与计算机视觉54

    针对跨语言与多模态智能体的潜伏投毒攻击防御研究

    论文揭示了基础模型作为智能体时潜伏投毒攻击的两大风险:无害微调可激活未见过的新危害行为及多种危害行为的共存激活。作者提出 LookAhead Defense 方法,利用投毒者必须保留发布阶段安全行为的特性构建 Safety Buffer,并预览无害微调更新以仅惩罚削弱安全的行为,在跨语言和多模态智能体上将有害行为率从最高 93.9% 降至 14.2%,同时保持低误拒率和竞争力用性。

  27. arXiv · 机器人与计算机视觉18

    CROPS:基于 Cosserat 杆的软细可编程材料系统协同设计框架

    CROPS 提出一种基于 Cosserat 杆表示的端到端可微分优化框架,用于自主设计具有大变形和多物理场驱动能力的软细结构。该框架在两个案例研究中得到验证:一是设计能随颈动脉形态变化的膨胀支架,二是协同设计磁性导管剩磁与外场以减小插入力。系统同时处理自接触与外部接触,涵盖凝胶弹性体溶胀及硬磁复合材料磁致动两种机制,旨在满足个性化生物医学需求。

  28. arXiv · 机器人与计算机视觉84

    Self-Improving Video-to-Action Models:一种通过环境交互进行自我改进的视频到动作模型

    论文介绍 Mirror 方法,这是一种无需人工奖励或专家动作数据的自监督视频到动作映射方法。该方法通过在环境中尝试执行对视觉计划的猜测来学习,并利用生成的视频 - 动作对增量式自我改进,从而更紧密地跟随视觉规划器。

    推荐理由:提出无需人工奖励或专家动作数据的自监督视频到动作映射方法,在 Atari、Minecraft 等基准上实现超越现有观测学习方法的性能。

  29. arXiv · 机器人与计算机视觉68

    工业机器人齿轮箱润滑剂温度观测器研究

    论文针对工业机器人因温度导致的定位与路径精度偏差问题,提出利用观测器结构估计齿轮箱润滑剂温度的方法。研究构建了包含两状态热传递模型的 Luenberger 观测器和卡尔曼滤波器,结合箱体温度传感器测量进行校正。实验在填充润滑脂的摆线针轮减速器上进行,验证结果显示该方法平均绝对误差为 1.3K,旨在为温度相关的误差补偿提供输入。