跳到正文
10月16日周五
  1. arXiv · 机器人与计算机视觉59

    基于几何候选模式的多元模态演示导航学习方法

    针对离线导航演示中多模态动作导致行为克隆不安全的问题,本文提出一种分层神经网络策略:高层策略根据目标和历史选择从局部几何计算的候选模式中选定模式,低层策略将其转化为具体动作。仿真测试显示该方法在已知和未知案例中的成功率分别超过 95%,显著优于四种离线学习基线(最高 43%)及无学习的启发式方法(79%)。该策略还成功迁移至 LimX Tron 1 双足机器人。

  2. arXiv · 机器人与计算机视觉70

    OneLA:从潜在动作中学习多元世界

    针对跨域世界模型中动作接口差异及标注稀缺问题,论文提出 OneLA 框架,利用共享正交字典和通用预测目标学习连续潜在动作,无需任务特定设计或跨域对齐损失。该潜在动作为世界模型提供统一条件控制接口,配合轻量适配器将原生指令映射至同一空间。实验显示,OneLA 在跨域动作读出上表现更好,相比最强基线降低动作循环转移旋转误差 24.8%,真实场景生成的人类偏好分数提升 20.5%。

  3. arXiv · 机器人与计算机视觉78

    Atomic-WAM:面向世界动作模型的执行 grounded 原子运动推理

    论文介绍 Atomic-WAM,这是一个理解后执行的框架,旨在解决任务级指令对物理交互定义不足的问题。该方法利用视觉语言推理器描述局部运动以引导世界动作模型预测视频和动作片段,并通过自动标注流程从多视角 DROID 演示中获取接触丰富的监督信号。

    推荐理由:提出 Atomic-WAM 框架,通过原子运动描述连接任务推理与动作生成,在 RoboLab 上实现执行 grounded 的奖励优化。

  4. arXiv · 机器人与计算机视觉60

    触觉引导机器人学习:从表征学习到基础模型综述

    该论文回顾了触觉感知在机器人灵巧操作中的核心作用转变,即从接触检测与反应控制转向支持可迁移表征学习与物理推理。文章按学习与控制流程的功能角色,系统考察了触觉表征、策略学习、基础模型、预测自适应控制及跨对象任务传感器实体和仿真到现实的泛化能力,并总结了设计原则与剩余挑战。材料为 arXiv 预印本综述,附带相关文献数据库资源链接。

  5. arXiv · 机器人与计算机视觉56

    LiFi:通过几何与语义协同引导从多视图图像生成激光雷达点云

    该论文介绍 LiFi(LiDAR From images)框架,旨在解决现有方法在跨模态仿真和感知任务中生成的激光雷达质量有限的问题。LiFi 专为从多视角相机图像生成视觉与几何对齐的激光雷达场景而设计,通过反向采样算法结合 DepthAnything3 构建场景特征,并利用跨视图交互模块提供高层语义表示。

  6. arXiv · 机器人与计算机视觉78

    ACRO:一种用于视觉语言动作策略的演员 - 评论家滚动编排层

    本文介绍 ACRO,这是一个为固定视觉语言动作(VLA)策略设计的演员 - 评论家滚动编排层,旨在决定何时继续尝试以及何时进行干预以提升成功率。该方法利用从策略滚动中学习的评论家评估成功前景以选择干预时机和重入目标,并通过轨迹回缩将机器人快速返回至该目标,使 VLA 能从新观测重新开始执行。

    推荐理由:提出 ACRO 层在固定 VLA 策略上通过轨迹回缩与干预决策提升成功率,实验覆盖仿真与真实机器人。

  7. arXiv · 机器人与计算机视觉78

    Spectral World Renderer:统一 3D 高光谱解混的新方法

    针对现有高光谱解混在 3D 场景中缺乏已知成分多视图数据验证的问题,作者提出 Spectral World Renderer (SWR),通过编码智能体构建可执行的 3D 世界并使用测量光谱渲染,使每张高光谱图像均附带精确标签与亚像素比例。

    推荐理由:提出将世界生成与光谱解混统一的渲染框架,提供带精确标签的基准数据集及加速训练方案。

  8. arXiv · 机器人与计算机视觉23

    基于演示轨迹引导的主从仿真接口助力血管介入机器人实验

    该系统连接真实主控制器与 SOFA 物理仿真平台,在血管介入物理体模实验中验证了主从控制回路可靠性。相比无引导条件,成功轨迹引导将任务完成时间、碰撞数、回退数和旋转数分别降低约 66.8%、34.3%、55.6% 和 66.7%,为机器人血管介入提供有效视觉辅助策略。论文已提交 IEEE 期刊待审,代码与数据暂未开放。

  9. arXiv · 机器人与计算机视觉78

    NavAble:面向盲助导航的大规模数据集与合成数据生成管线

    NavAble 是一个针对盲助导航感知的大规模数据集,涵盖 11 类无障碍关键物体(如听觉行人信号、门激活按钮等),整合了 4.1 万张精选开源图像和 8000 张新采集的密集标注真实世界图像。

    推荐理由:NavAble 数据集与合成生成管线公开,填补了盲助导航关键物体类别的数据稀缺问题。

  10. arXiv · 机器人与计算机视觉72

    Into the LidarVerse:一种跨任务与传感器的实时统一 LiDAR 世界模型

    论文介绍了 LidarVerse,这是一个统一的 LiDAR 世界模型,旨在解决现有仿真器在几何重建与生成一致性之间的权衡问题。该方法通过通用分词器将 LiDAR 序列映射到共享潜在空间,利用双向教师网络学习条件接口,支持基于 LiDAR 前缀、高精地图、持久化空间缓存及文本的多种输入。

  11. arXiv · 机器人与计算机视觉15

    Benchmarking 3D Reconstruction for Under-Ice Robotic Perception in Arctic Environments

    针对北极冰下环境视觉特征稀疏与感知条件恶化的挑战,该基准利用 MOSAiC 科考真实数据及 Unreal Engine 水下机器人仿真器生成的合成数据,评估基于运动恢复结构(SfM)和单目深度估计的冰下三维重建性能。研究通过跨模态配准技术实现与向上凝视多波束声纳的定量对比,旨在弥补声学传感器缺乏光谱和高纹理信息的局限,为海洋 - 冰层 - 大气热交换模型及冰下栖息地监测提供关键数据支撑。

  12. Hugging Face Daily Papers58

    基于 DAO 和 JING 的生成式世界仿真框架技术报告

    XGEN Team 发布技术报告,提出一种将持久化共享世界状态与连续第一人称视听生成耦合的框架。该框架集成可计算世界引擎 DAO 用于维护角色、物体及空间关系并推进世界演化,同时利用 Egocentric Interactive Experience Model JING 结合观测条件生成特定视角的体验。

10月13日周二
  1. Hugging Face Daily Papers75

    Cowork-Gym:大规模合成交互式工作环境框架

    论文介绍 Cowork-Gym 框架,利用构建、执行和修订循环合成包含状态感知用户模拟器的交互式工作环境,涵盖工具依赖与共享工作区编辑。研究合成了 64.9K 个环境并用于微调 Qwen 系列模型(9B/27B/35B),在六个代理基准上平均表现优于基线,其中 27B 版本在 PawBench 和 ClawEval 上得分最高,超越百十亿参数模型。

10月12日周一
  1. arXiv · 机器人与计算机视觉75

    FACT:基于保真度的串联数字孪生构建方法

    FACT 是一个代理框架,旨在构建高保真的串联数字孪生以改善几何、接触和动力学表现。该方法通过特征规划从图像重建可编辑几何,利用任务感知的局部重划分修复碰撞代理,并利用仿真残差指导被动响应视频中的模型修订与物理参数拟合。实验表明 FACT 在几何重建、交互可靠性及复现未见过物理响应方面优于基线方法。

  2. arXiv · 机器人与计算机视觉63

    ModAR:首个多模态自回归世界动作模型

    论文提出 ModAR,这是首个对多种未来模态(点轨迹、DINO 特征、深度图)进行自回归去噪后再预测动作的世界动作模型。实验表明,结合点轨迹和深度图能提升性能,而额外预测 RGB 图像收益不显著;ModAR 在三种真实双手任务上优于基线,平均成功率达 75%,且训练 FLOPs 约为视频初始化基线的二十分之一,无需预训练。

  3. arXiv · 机器人与计算机视觉70

    Recover, Discover, Plan:从机器人失败中学习技能与概念

    论文介绍 ReSYNC,一种首个能从失败恢复经验中渐进发现并精炼状态抽象(关系谓词)的方法。该方法通过增量双重学习过程联合习得技能与概念,将训练中的局部恢复转化为测试时的全局避错能力。在四个仿真领域及真实世界非抓握操作中,ReSYNC 解决了长视界未见问题且表现优于基线超 50%,展示了向物理世界的迁移能力。论文已获 CoRL 2026 录用。

  4. arXiv · 机器人与计算机视觉42

    DeVI:基于合成视频模仿的物理灵巧人机交互框架

    DeVI 提出一种通过模仿文本条件生成的合成视频来学习物理基础的人机交互控制,利用混合模仿目标规避不可靠的三维物体运动重建。视觉 HOI 对齐模块进一步修正人体参考以适配生成视频与初始三维配置,显著提升重构质量与模仿成功率。实验表明该框架无需动作捕捉演示即可实现目标感知与多连杆物体的物理可行功能操作。

  5. arXiv · 机器人与计算机视觉43

    AnomalyAgent:通过工具增强强化学习实现工业异常合成

    AnomalyAgent 提出具备自我反思与知识检索能力的异常合成智能体,利用 PG、IG、QE 等五类工具构建闭环优化。该方法在 MVTec-AD 数据集上 IS/IC-L 达 2.10/0.33,分类准确率 57.0%,AP 分别达到 99.3% 和 74.2%,超越所有零样本最先进方法。代码已公开,论文被 ACM MM 2026 接收。

  6. arXiv · 机器人与计算机视觉38

    MARGoS:面向 ARGoS 仿真器的可复现多智能体强化学习配置驱动平台

    MARGoS 是一个轻量级、配置驱动的开源平台,旨在解决基于 ARGoS 的多智能体强化学习实验复用与复现难题。该平台通过配置哈希、端到端种子传播及不可变配置等机制,将环境指纹与训练脚本提升为一级管理对象,支持跨机器结果回放与验证。项目代码已公开,相关论文作为 VARIABILITY 2026 卫星会议项目展示轨道的提交版本(待同行评审),收录于 LNCS 17104。

  7. arXiv · 机器人与计算机视觉82

    Splat2Act:从捕获场景到个性化 VLA 操作

    针对通用操作策略在用户家中零成功率且采集演示成本高昂的问题,该研究提出 Splat2Act 自动化实到仿再到实流程。该方法利用手持设备扫描与物体图片构建包含碰撞几何的逼真数字孪生,自动发现收纳位并生成成功演示。在 101 个校园环境中,策略经两阶段微调后,目标场景整体拾取成功率达 62.5%,真实机器人部署子集任务成功率为 63.9%。

    推荐理由:该工作提出自动化实到仿再到实的流程,仅凭手机扫描与物体图片即可将通用 VLA 策略个性化至特定场景。

  8. arXiv · 机器人与计算机视觉72

    Mapless, Stabilizing, and Anti-Stuck Flipper Control for Articulated Tracked Robots

    本文提出了名为 SAS 的无地图稳定控制策略,专为四足履带机器人设计。该方法结合车身滚转/俯仰稳定项与防卡滞项,仅依赖 IMU、关节角度及运动状态信号,避免了里程计积分导致的漂移问题。作者在仿真及真实障碍物环境中进行了大规模对比测试,结果显示 SAS 的通行质量可与最先进的基于地图的控制器相媲美;特别是在高草遮蔽 LiDAR 传感器的隐蔽障碍场景下,SAS 成功通过而传统方法陷入卡滞。

  9. arXiv · 机器人与计算机视觉78

    SimVTA:基于仿真的视频 - 轨迹对齐用于驾驶世界动作模型

    针对驾驶世界动作模型(WAMs)在强化学习后训练阶段缺乏替代轨迹视觉监督的问题,本文提出 SimVTA 框架。该方法结合轨迹优化与视频监督,利用真实世界模拟器渲染高奖励候选轨迹的未来视频,并在有限渲染预算下优先处理高误差未来以更新共享表征。

    推荐理由:提出 SimVTA 框架,利用仿真生成视频监督以解决驾驶世界动作模型的轨迹规划问题。

  10. arXiv · 机器人与计算机视觉38

    生成式增强提升 AI 测试与评估语义覆盖度

    针对测试数据集在时间、天气等关键输入条件下语义覆盖不足的问题,研究提出无需真值标签的三阶段生成式 AI 流程。该流程利用视觉语言模型零样本标注并聚类影响下游行为的语义,再通过扩散图像到图像模型将现有图像转化为欠表示域以增强外观特征。实验验证显示,在日/夜语义差距场景下,经增强的测试集能更准确区分模型是否接触过缺失语义,使评估结论更接近理想全覆盖数据集的结果。

  11. arXiv · 机器人与计算机视觉78

    ELMA:用于长期文本到动作生成的指代性组合基准

    本文介绍 ELMA,一个具有密集分段注释的长期动作生成数据集,旨在解决现有模型难以处理涉及指代关系的跨段约束问题。研究团队通过全自动管道从网络视频中提取高质量连续 30 秒片段,并微调了最先进的动作生成模型以融入长程上下文。

    推荐理由:ELMA 数据集与基准揭示了现有模型在处理长程指代性指令时的不足,为长期动作生成提供了新的评估标准。

  12. arXiv · 机器人与计算机视觉78

    EndoRSI:基于物理证据的内窥镜机器人策略递归改进

    EndoRSI 是一个由嵌入式 EndoForge 编码代理驱动、以物理实验证据进行递归自我改进的人机共驾内窥镜机器人研究系统。物理执行在安全受限运行时且经人类授权下进行。

    推荐理由:该工作提出由嵌入式代理驱动、以物理实验证据递归改进内窥镜机器人策略的系统,展示了从初始失败到最终在六例离体猪标本中表现最优的自主策略演进过程。

  13. arXiv · 机器人与计算机视觉78

    基于世界模型的采样运动规划方法

    论文提出利用视觉世界模型作为树搜索传播器的采样运动规划方法,解决传统优化器在长视界任务中停滞的问题。作者设计了最近邻引导的 RRT 和投影基 KPIECE 两种探索策略,并在四个仿真域及真实推方块任务上验证了该方法在规划时间和成功率上的优势。

    推荐理由:针对长视界任务中优化器停滞问题,提出将采样策略应用于世界模型潜在空间的方法,在仿真与真实机器人实验中均优于传统基线。

  14. arXiv · 机器人与计算机视觉45

    Verifier-Mediated Multi-LLM Coordination for Multi-Robot Path Planning 研究多机器人路径规划

    针对大语言模型生成的符号计划在几何落地后可能因时空约束冲突而不可行的问题,该研究提出了一种由几何验证器介导的多 LLM 协调架构。实验在 CARLA 仿真环境和 Crazyflie 空中机器人上评估了任务复杂度增加时的协调性能,对比了集中式推理与去中心化协调策略在语义规划与物理可执行性间的权衡。

10月9日周五
  1. arXiv · 机器人与计算机视觉43

    数字孪生框架用于 AI 驱动工业边缘控制环路的预部署验证

    该研究提出一种模块化数字孪生(DT)框架,统一建模物理过程、无线通信与应用逻辑。在 BI-REX 试点线通过 5G 连接自主移动机器人(AMR)运输危险液体的真实概念验证中,DT 预测与实测的网络级指标及端到端应用指标高度一致。分析表明网络建模误差会严重影响低延迟工业控制环路的可行性,证实了该框架作为下一代工业系统预部署设计与验证工具的价值。

  2. arXiv · 机器人与计算机视觉32

    Φsat-2 星载海洋异常检测:从仿真开发到在轨演示

    欧洲航天局Φsat-2任务部署了轻量级星载海洋异常检测流程,结合海图分割与自监督特征编码实现数据直处理。发射前基于仿真图像训练验证算法性能,但在轨实验发现模拟与真实数据存在显著不匹配。团队利用改进标注策略在真实一级影像上重训模型,大幅提升了处理模糊海域的性能并证明了星载可行性。

  3. arXiv · 机器人与计算机视觉72

    MultiWorldBench:独立控制的视角能否描述同一个共享世界?

    论文介绍 MultiWorldBench 这一基于 Minecraft 的多玩家世界模型诊断基准,包含 495 种配置及七套任务套件。评测显示 Gamma-World 在十项能力平均得分最高(21.39),Solaris 次之(20.88),MineWorld 最低(1.89),而参考引擎 Engine GT 得分为 91.69。

  4. arXiv · 机器人与计算机视觉42

    Generative Neural Retargeting 实现人形到机器人灵巧操作的高效重定向

    Generative Neural Retargeting(GNR)利用流匹配模型从低维流形采样可行轨迹,仅需 MPC 8.5% 的样本量即达成 56.20% 成功率。该方法解决了逆运动学忽略动力学及强化学习训练成本高的问题,支持大规模长视界毫米级精度演示的重定向。基于真实到仿真数据引擎,团队构建了包含 22.3 万次演示和 3.3 千种物体几何的灵巧操作数据集。