跳到正文
10月9日周五
  1. arXiv · 机器人与计算机视觉38

    PI-UDF:面向协作机器人运动生成的物理感知碰撞学习框架

    PI-UDF 是一个结合解析正向运动学与可学习连杆几何嵌入的统一微分框架,用于预测机械臂间的碰撞距离。该框架将学习到的距离场集成到非线性 MPC 中作为微分化的双臂间隙项,并通过配额驱动边界挖掘与不对称越界惩罚提升安全临界保真度。在真实双 Franka 平台上验证了高速近距离 14-DoF 双臂交换、单臂动态规避及动态规划配置下的闭环碰撞感知运动生成能力。

  2. arXiv · 机器人与计算机视觉38

    数字孪生驱动的机器人灵活性:利用人机回环演示强化学习框架

    该研究提出一种结合数字孪生、强化学习与人类演示的人机回环在线训练框架,通过摄像头实时同步虚实系统。在 Ufactory Xarm5 协作机器人实验中,固定非最优演示下,双智能体架构实现 83%-100% 平均确定性评估成功率,显著优于添加模仿损失方法的 0%-17%,且能在物理工作空间变更后恢复训练。

  3. arXiv · 机器人与计算机视觉42

    OmniDex:通过种子与过滤策略构建百万级场景基准并实现灵巧抓取

    OmniDex 模型利用软赢家通吃学习与物理驱动排序,解决了复杂杂乱场景中灵巧抓取的模态多样性及毫米级精度难题。该研究构建了包含超 260 万个场景和 4 亿次特定抓取真值的新基准,实现了无需后优化的鲁棒性能与强泛化能力。论文已提交至 arXiv (arXiv:2610.11194),目前处于预印本状态。

  4. arXiv · 机器人与计算机视觉82

    信息解耦轨迹设计用于仿真到现实系统辨识

    针对采样式系统辨识中轨迹无法区分不同参数效应导致估计不可靠的问题,作者提出了基于舒尔补得分的信息解耦轨迹设计框架(IDTD)。该方法通过归一化分数、选择最优轨迹片段并聚合对数分数的方式,确保每个区间暴露的参数子集贡献明确。

    推荐理由:提出信息解耦轨迹设计框架,在多种仿真与真实机器人上降低参数识别误差并提升策略迁移效果。

  5. arXiv · 机器人与计算机视觉83

    OmniHOI:基于单目视频的灵巧手物交互研究

    论文介绍 OmniHOI 流程,旨在从单目 RGB 视频中重建手物交互的忠实轨迹并迁移至灵巧机械手。该方法在各阶段利用图像证据、接触几何和动力学约束物理一致性,直接优化对应表示以修正误差。

    推荐理由:该工作提出 OmniHOI 流程,利用单目视频重建手物交互轨迹并转移至多自由度机械手,在仿真与真实机器人上均优于现有方法。

  6. arXiv · 机器人与计算机视觉48

    Same Action, Different Outcome:动态布料操作中的结果变异性研究

    针对重复快速动作下布料结果存在显著变异性的问题,研究者在四项动态任务中执行了同一轨迹共 269 次 rollout。结果显示,这种变异性主要由布料物理属性驱动且随速度增加,幅度远超机器人噪声并无法被现有四款校准后的现代布料仿真器复现。团队同步发布了包含 OptiTrack、视觉与机器人日志及对应仿真孪生的数据集,以评估学习策略可靠性。

10月8日周四
  1. arXiv · 机器人与计算机视觉82

    失败边界学习:面向鲁棒的视觉语言动作模型研究

    论文指出监督微调后的视觉语言动作模型存在结构不对称问题,即缺乏关于成功行为失效边界的信号。为此提出 DLS 方法,基于少量真实演示与仿真协同训练构建真实接地行为先验,通过数字孪生在线策略 rollout 发现失败边界。

    推荐理由:提出 DLS 方法,利用数字孪生与语义进度信号发现并塑造失败边界,提升 VLA 模型在随机初始状态下的鲁棒性。

  2. arXiv · 机器人与计算机视觉72

    Adapting Generalist Vehicle Models for High-Speed MPC Across Terrains

    论文提出 OptCar(Optimized Car)配方,旨在桥接从通用到专用的前向运动学动力学预测基础模型,以保留跨地形泛化能力并优化特定车辆性能。该方法采用 Transformer FKD 架构,利用 FiLM 条件化多步预测,并通过环境特定的系统辨识结合有限真实数据进行专业化微调。

  3. arXiv · 机器人与计算机视觉38

    GAGR-Lab:评估联合空间几何与分析函数推理能力的框架

    GAGR-Lab 是一个通过笛卡尔游戏场景和权威 Rust 轨迹执行来测量机器人空间感知与函数构建能力的研究框架。该框架在 Llama 3.2 11B Vision Instruct 模型上试点显示无目标命中,但独立分析搜索控制在 600 个方向案例中全部成功且可重复验证。目前仅报告了部分评估结果,完整的难度矩阵与多模型对比数据尚未测试。

  4. arXiv · 机器人与计算机视觉35

    LeCuration:作为数据策展多工具的小型世界模型预印本发布

    LeCuration 是一个基于 LeWorldModel 潜变量编码器与扩散 Transformer 解码器构建的小型世界模型,旨在为物理 AI 应用组织、筛选和策展数据。该研究在 CS:GO 游戏数据上进行了定性概念验证,利用其嵌入进行异常检测和内容聚类以检查动作状态一致性,但未报告定量指标或下游训练结果。

  5. arXiv · 机器人与计算机视觉38

    NeRFifyMesh:从纹理网格生成地面真值点辐射场以加速机器人场景构建与碰撞仿真

    NeRFifyMesh 提出新流程,通过采样网格几何与纹理人工生成地面真值点辐射场,无需相机采样或多视图渲染即可将现有网格转为 NeRF。基准测试显示该方法渲染质量与基线相当,并支持构建统一 NeRF 场景及提取几何进行碰撞仿真。论文已接受至 IROS2026,代码与数据许可状态待注册。

  6. arXiv · 机器人与计算机视觉42

    MultiFly:首个融合 RGB/热成像/LiDAR/雷达的标注高效低空无人机数据集发布

    MultiFly 是一个面向语义感知的真实世界低空无人机数据集,包含四场景共 17,272 帧同步样本及 15 类逐帧标注。研究通过仅手动标注 115 张 RGB 图像,利用共享几何表示将标签迁移至热成像、LiDAR 和雷达模态,生成超 840M LiDAR 点云与 3.4M 雷达点数据。迁移标注在保留集上达成 89.93% 平均一致性与 90.94% 跨模态语义一致性,并建立了四模态分割基准。

  7. arXiv · 机器人与计算机视觉83

    Point It, Strike It:面向变形线性物体的方向条件动态操控研究

    该论文研究了针对变形线性物体(如绳索)的动态操控问题,提出在指定终点位置及到达方向的目标设定下,通过单摆动作完成打击任务。作者扩展了 DeformX 仿真器至 DeformX2.0,引入 GPU 加速与气动模型以提升效率;提出 TRACE 方法生成带方向约束的打击数据,并训练条件流匹配策略;最后提出 RECAP 残差校准策略以适配真机参数。

    推荐理由:提出 DeformX2.0 仿真器与 TRACE、RECAP 策略,实现变形绳索打击任务从仿真到真机的跨域迁移。

  8. arXiv · 机器人与计算机视觉70

    基于接触因子分解的通用模仿学习框架 FACE

    论文提出 FACE 框架,旨在解决接触丰富操作任务中因表面几何、朝向和摩擦微小变化导致交互力大幅波动的问题。该方法将意图任务行为与环境依赖的接触因子解耦,利用归一化接触相对坐标表达交互力,并通过学习的接触法向估计器和在线摩擦估计器推断局部接触状态与有效摩擦尺度。

  9. arXiv · 机器人与计算机视觉38

    SIGMA:仿真闭环快慢协同决策框架降低自动驾驶云交互并提升导航成功率

    SIGMA 提出一种仿真在环的快慢协同框架,将规划器嵌入不确定性评估以决定何时调用云端推理。实验表明该框架减少不必要的云交互 50%,动态场景下导航成功率提升超 6% 且完成时间缩短最多 26.2%。该方法在 CARLA 环境中验证了其在静态与动态障碍物场景下的效率与导航性能优势。

  10. arXiv · 机器人与计算机视觉35

    评估从 2D 到 3D 仿真中协同进化通信机制的迁移效果

    该研究考察了双智能体在离散 2D 模拟器与含真实物理的 3D 模拟器间,协同进化通信机制的功能保留情况。结果显示成功率随时间预算线性增长,社会线索主要作为干扰辅助而非导航引导,且处理顺序控制排除了物理引擎伪影。论文为预印本状态,探讨了影响迁移后性能差距的因素。

10月7日周三
  1. arXiv · 机器人与计算机视觉23

    Ego2World:将第一人称烹饪视频编译为可执行世界以支持信念状态规划

    Ego2World 是一个基于 HD-EPIC 数据集构建的可执行基准,它将第一人称烹饪视频转化为受图转换规则支配的符号世界。该基准强制智能体仅凭局部观测和反馈更新记忆并重新规划,实验表明信念记忆能提升任务完成率并减少重复视觉探索。论文已撤回 v1 版本以避免混淆,当前 arXiv 链接指向 v2 版本(arXiv:2605.13335v2)。

  2. arXiv · 机器人与计算机视觉84

    SimToolReal:面向零样本灵巧工具操作的物体中心策略

    论文提出了 SimToolReal 框架,旨在解决机器人灵巧工具操作难题。该方法通过在仿真中程序化生成大量工具类原语,训练单一强化学习策略以实现通用目标位姿操作,无需针对特定对象或任务进行额外训练。

    推荐理由:提出 SimToolReal 方法,通过仿真生成工具原语实现零样本灵巧操作,在真实世界多任务中优于现有基线。

  3. arXiv · 机器人与计算机视觉42

    Sim-to-Real Transfer of Vision-Language Navigation in Continuous Environments Using an Ackermann-Steered Mobile Robot

    该系统利用视觉语言模型与跨模态注意力架构,在无需导航图或全景视图的连续环境中实现仿真到现实的域迁移。通过在搭载相机和激光雷达的阿克曼转向机器人上采集数据微调,模型离线运行并成功适应真实环境。实验基于 SPL 和 nDTW 指标评估,验证了该方法在无完美定位条件下的鲁棒性与适应性。

  4. arXiv · 机器人与计算机视觉15

    教育未来工程师:可扩展的 LLM 工作坊

    该研究提出一种可扩展的游戏化工作坊,让工程硕士学生在移动网页界面中通过提示词与推理型及非推理型大语言模型协作解决网格导航任务。系统返回机器人可执行计划、轨迹可视化并自动评分,最终在波士顿动力 Spot 机器人上进行现场演示。后测问卷显示,81.5% 的学生报告获得实质性学习成果,91.0% 表示高参与度,代码已开源。

  5. arXiv · 机器人与计算机视觉48

    EigenDEXplore:利用人类先验结构化探索提升灵巧操作性能

    EigenDEXplore 通过沿人类衍生的特征向量添加扰动,在保持动作空间不变的前提下实现相关探索,显著优于关节空间和 learned action-space 基线。该方法在抓取、手内重定向及富接触操作任务中表现一致,且在奖励塑形较少且课程设计较少的仿真到现实部署场景中增益最大。

  6. arXiv · 机器人与计算机视觉82

    SMART:基于大规模合成预训练的零样本仿真实物关节物体操作

    针对收集大规模实物关节物体交互演示困难的问题,作者提出 SMART 系统及其核心仿真平台 SMART-Sim。该系统利用代理任务生成与分布式合成技术,构建了包含超过 100 万次演示、覆盖 44 种原子任务类型、5 种机器人配置及 2507 个关节物体的数据集 SMART-Data。

    推荐理由:提出 SMART 系统,通过大规模合成演示实现零样本仿真到现实迁移,提升 VLA 模型在复杂接触任务中的表现。

  7. arXiv · 机器人与计算机视觉82

    ReDex:通过手指级顺应性交互修复仿真到现实的灵巧操作策略

    针对仿真训练的灵巧操作策略在真实世界因接触时序和力调节误差而失效的问题,本文提出 ReDex 框架。该框架允许人类操作员在真实部署中,对选定手指进行物理修正以纠正接触失败,同时保留基座策略控制其余手指。

    推荐理由:提出 ReDex 框架,通过人机协作修正接触失败并引入触觉反馈,将物体翻转成功率从 14% 提升至 86%,为仿真策略迁移提供新路径。

  8. arXiv · 机器人与计算机视觉78

    MobileVISTA:面向移动操作任务的生成式数据增强框架

    MobileVISTA 是一个数据生成框架,旨在解决端到端操作策略在机器人部署时因微小姿态偏差导致性能骤降的问题。该框架将采集于标准姿态下的演示数据转化为多样化、姿态扰动后的训练数据,通过联合增强以眼为中心(egocentric)的视觉观测并重新定向动作以补偿基座姿态变化。

    推荐理由:该框架将演示数据转化为多姿态扰动数据,无需额外采集或生成模型即可提升策略对非分布内姿态的鲁棒性。

  9. arXiv · 机器人与计算机视觉33

    RACER:基于残差自适应闭环估计的轮式四足赛车规划框架

    RACER 是一种结合 MPPI 规划器、学习到的残差动力学模型及底层 RL 速度跟踪器的分层控制框架,用于轮式四足机器人赛车。该方法通过 LoRRA 技术在大规模仿真预训练基础上利用少量真实数据微调低秩约束残差模型。实验表明,在高速过弯时引入残差动力学能显著提升性能,且相比仅用目标域数据或从头训练,混合源域与目标域数据及施加低秩约束的策略在接地系数或关节增益存在域差距时具有更高的成功率和表现。

  10. arXiv · 机器人与计算机视觉38

    基于可解释性搜索的 DNN 机器人导航系统鲁棒性测试方法研究

    该方法提出一种结合多图像优化与可解释性引导的进化算法,在 Gazebo 仿真中实现 70.0% 成功率并验证了 LeoRover 物理机器人的故障迁移。相比无引导搜索(53.85%),其超体积提升显著且仿真失败时间与物理呈现强正相关(0.617)。研究证实仿真虽能优先识别可迁移故障,但物理验证对发现真实世界特有失效仍不可或缺。

  11. OpenCV Blog4

    OpenCV 直播预告:构建物理 AI 管线——OpenCV 到 NVIDIA Isaac Sim

    OpenCV 将于 2026 年 10 月 8 日周四上午 9 点(太平洋时间)举办名为"OpenCV Live! 228"的直播,主题聚焦构建从 OpenCV 到 NVIDIA Isaac Sim 的物理 AI 管线。NVIDIA Isaac Sim 作为开源参考框架,支持在基于物理的虚拟环境中进行机器人仿真、测试及合成数据生成,并能摄入 CAD、URDF 或真实世界捕获等多源数据。

10月6日周二
  1. arXiv · 机器人与计算机视觉45

    T-PAI 框架:从理论到全生命周期的可信物理智能实践指南

    针对现有可信 AI 框架难以应对物理安全与不可逆后果的挑战,该研究提出涵盖核心能力、物理作用及五阶段生命周期的 T-PAIO 运营化方案。作者进一步构建了包含关键原则的 T-PAI 理论框架,旨在为治理可信物理智能系统提供基础。相关论文已作为预印本发布于 arXiv,目前处于公开评审阶段。

  2. arXiv · 机器人与计算机视觉82

    现实到仿真再到现实的协同训练中世界与行为的 grounding 研究

    论文提出一种 real2sim2real 协同训练管线,独立调节世界保真度(world grounding)和行为对齐(behavior grounding)两个轴以生成数据。

    推荐理由:提出独立调节世界保真度与行为对齐的共训练管线,在动态灵巧分拣任务中将成功率从 52% 提升至 86%,揭示两者互补作用。

  3. arXiv · 机器人与计算机视觉73

    EmbodiRSI:面向数据高效机器人适应的递归自我改进系统

    针对机器人操作策略在新任务和环境中的高数据需求问题,研究团队提出了 EmbodiRSI 代理系统,在真实到仿真再到真实的设置下实现递归自我改进。该系统通过协作错误修正和自适应数据采集两个机制闭环优化,利用任务特定仿真作为低成本环境进行策略预热、评估与故障诊断。

  4. arXiv · 机器人与计算机视觉82

    One from Infinity:从预训练世界模型中实际化出机器人动作

    论文提出 RoboActualizer 方法,旨在解决如何将预训练视频世界模型的多种潜在未来转化为特定任务条件下的确切执行策略。该方法将核心问题形式化为“实际化”,即在冻结的世界模型编码器之上,通过一个仅含约 60M 参数的轻量级实际化器模型(由两个 DiT 专家组成)来筛选并读出实现任务的行动序列。

    推荐理由:提出在冻结预训练世界模型上仅用轻量级实际化器将潜在未来转化为机器人动作,大幅降低参数与算力需求。

  5. arXiv · 机器人与计算机视觉48

    CoDimRecon:基于智能体的可变形曲线曲面与体积仿真就绪三维场景重建框架

    CoDimRecon 提出一种智能体框架,从多视角 RGB 观测中重建包含刚性、铰接及可变形物体的可编辑场景。该方法利用场景级几何先验确定尺度布局,针对可变形物体分别生成中心线、流形壳层或水密实体以适配不同维度仿真。在 Replica 和 ScanNet++ 数据集上,该框架实现了具有竞争力的组合重建精度并支持机器人交互验证。