跳到正文
11月18日周三
  1. arXiv · 机器人与计算机视觉63

    RFW-S:具备独立仿真验证的日常可变形物体数据集

    论文介绍 RFW-S 数据集,包含 83,365 个经过独立仿真验证的变形物体资产,覆盖 485 类日常物品及五种结构家族。作者开发了结合参考引导生成、结构感知物理建模与 LLM 参数校准的自动化管线,并通过独立于校准过程的交互行为评估确保物理可靠性。

  2. arXiv · 机器人与计算机视觉58

    Magflow:一种支持工业级 6D 磁悬浮的可微分仿真方法

    论文介绍了 Magflow,这是一个完全可微分的 GPU 并行仿真器,专门用于模拟具有六自由度的工业级磁悬浮系统。研究团队利用该工具训练了首个纯基于物理仿真的神经网络控制器,并展示了其能零样本迁移到真实硬件,在 4 kHz 频率下满足硬实时约束,甚至实现了传统手工设计无法支持的拓扑结构控制。

  3. arXiv · 机器人与计算机视觉48

    无标注合成水下垃圾检测数据生成方法对比:DALL-E 提升四领域性能

    针对水下目标检测因浑浊、光照及传感器差异导致的数据稀缺问题,研究提出无需人工标注的自动化零标注流水线。该流程在 SeaClear 数据集上比较了复制粘贴、Stable Diffusion 修复及 DALL-E 三种生成策略,结果显示 DALL-E 方法在五个领域中提升了四个领域的检测性能,相对基线最高增益达 96%。

  4. arXiv · 机器人与计算机视觉68

    Arboreus:一种支持地形与卫星信息的北方针叶林现实感仿真器

    本文提出了 Arboreus,这是一个用于北方针叶林环境的逼真森林仿真器,旨在支持机器人自主算法的统计验证。该方法利用北欧生长研究参数化生成桦树、云杉和松树等主导树种,并结合 Copernicus 卫星数据集指导树木分布密度与种类,同时利用瑞典地籍局的地形数据生成真实感地面。

  5. arXiv · 机器人与计算机视觉70

    Practice in Text, Act in Pixels: Correcting Where Perception Fails

    该研究探讨了在模拟移动平台上,基于文本视图训练的 GUI 智能体为何难以迁移到截图视觉输入的问题。作者发现阅读器的误读具有系统性且重复出现,单纯匹配噪声的仿真到现实补救无效。通过仅在阅读器层面进行对齐微调(reader alignment),使其输出与截图对应的文本视图,策略无需重新训练即可在未见任务实例上达到 80.9% 的全任务成功率,显著优于将相同预算用于直接训练策略的 55.6%。

  6. arXiv · 机器人与计算机视觉84

    JointGV:基于并行图动力学的视觉世界模型结构感知修正方法

    针对视觉世界模型在实体姿态和空间关系上的递归误差限制长视界规划问题,本文提出 Joint Graph--Visual Dynamics Correction (JointGV) 插件。

    推荐理由:提出 JointGV 插件,在不重构视觉模型前提下利用图动力学修正长视界预测漂移,在 DMC 与真实倒立摆实验中显著降低误差。

  7. arXiv · 机器人与计算机视觉68

    真实机器人数据质量背后的隐藏变量:来自数十万小时数据的教训

    该研究报告了 25 台双臂机器人的运动学、遥操作控制及真实机器人微调实验结果。研究发现,位置可达性会高估方向感知任务覆盖率;并行化身体部位控制可将任务完成时间减少 43-53%;主动搜索演示能将臂选择准确率从 50% 提升至 100%;推理时校准错误会导致所有试验失败;策略仍保留约 90% 的无效绕行路径长度。报告建议在大规模采集前评估有效工作空间、控制效率及运动质量,以消除系统诱导的补偿行为。

  8. arXiv · 机器人与计算机视觉56

    FailureGen:基于世界模型的机器人故障数据规模化生成方法

    该论文提出 FailureGen 方法,通过微调动作条件化的 Cosmos 世界模型,将记录的真实失败执行轨迹迁移到成功宿主上下文中,生成带有时间事件标注的合成视频以扩充故障场景数据。初步实验显示,结合合成数据的检测器平均精度为 0.51,优于仅用真实数据的 0.41,且能检测到更多故障区间。材料为预印本论文,未报告真实机器人部署结果或具体开源仓库。

  9. arXiv · 机器人与计算机视觉35

    Joint-ID:基于 Transformer 的水下图像增强与深度估计模型

    Joint-ID 是一种基于 Transformer 的神经网络,通过联合学习实现水下原始图像的感知质量增强与深度信息获取。该方法在合成及标准数据集上评估有效,并能在高浊度真实水下环境中进行特征匹配与显著性检测以辅助视觉引导机器人。论文由 IEEE Sensors Journal 于 2024 年发表,代码与权重暂未公开,仅允许个人使用。

11月17日周二
  1. arXiv · 机器人与计算机视觉58

    超越晴朗天空:面向现实世界无人机检测的合成季节与天气变化数据

    针对真实世界无人机检测中恶劣天气和季节性外观变化难以采集的问题,作者提出了 SynDroneVision-Weather (SDV-W) 数据集。该数据集包含 55,187 张高分辨率城市环境图像,通过游戏引擎渲染覆盖三种季节配置及雨、雪、雾等多种天气条件。

  2. arXiv · 机器人与计算机视觉68

    VANDERER:基于未来感知与视觉好奇心的无图探索扩散策略

    论文提出了 VANDERER 框架,旨在解决移动智能体在无地图环境下的自主探索问题。该方法利用单目图像数据,通过视觉好奇心模块(VCM)预测导航世界模型中的动作结果并计算好奇心成本,以此引导预训练的扩散策略生成最大化探索效率的动作。实验表明,该框架在多种仿真环境中表现优于前沿搜索等基线方法,实现了 2.3 倍的探索效率提升,验证了视觉与几何好奇心在户外环境中的关联性。

  3. arXiv · 机器人与计算机视觉72

    Flying on Imagination: DreamerV3-Style World Models under Environment Distribution Shift for Quadrotor Navigation

    该论文研究了基于潜变量动态重建的世界模型在四旋翼飞行器导航中的应用,特别是在训练环境分布发生偏移时的表现。研究对比了四种不同的深度感知训练环境设置,并评估了强化学习微调前后的重建质量及策略性能。

  4. arXiv · 机器人与计算机视觉75

    NeurIPS 2026:Simulation-Informed Diffusion 用于去中心化多机器人运动规划

    论文介绍 Simulation-Informed Diffusion(SID),一种基于约束感知扩散模型的去中心化框架,通过模拟邻域机器人的未来轨迹来指导自身规划并仅在拥堵时触发协调。实验显示该方法在规划有效性和约束满足上优于基线,可扩展至 108 个机器人和 160 个障碍物的场景。材料为 NeurIPS 2026 论文,链接指向 arXiv 预印本。

  5. arXiv · 机器人与计算机视觉58

    异质机器人未知环境下的协作导航与探索:基于β稀疏高斯过程

    针对异质机器人在未知环境中受限于感知、通信和计算能力的挑战,本文提出一种由主机器人领航、移动传感器(如无人机)辅助的协作框架。该框架利用提出的β稀疏高斯过程模型,在带宽约束下在线决定传输哪些地图区域及执行何种导航动作,同时预测未探索区域。仿真结果表明,该方法相比无通信基线将累积路径成本降低约35%,相比全信息高斯过程基线减少94%的传输信息量,并验证了基于预测的地图预测及任务相关区域选择的优势。

  6. arXiv · 机器人与计算机视觉52

    面向易拆卸关节的足式模块化机器人:兼顾关节负载与移动性的步态生成

    针对模块化机器人可拆卸关节承受大载荷的问题,本文提出基于 NSGA-III 的多目标步态优化框架,以移动速度、静态稳定性和归一化关节负载为三个优化目标。仿真显示加入关节负载目标后,最大关节反作用力降低 11.5%,最小稳定性提升 41.2% 但前向速度下降 10.5%。

  7. arXiv · 机器人与计算机视觉63

    利用多光谱图像融合实现未知空间物体周边的抗光照定位

    针对轨道操作中对未知空间目标(RSO)的导航需求,本文研究了可见光、热红外及两者融合的成像方案。研究通过像素级融合结合传感器优势进行前端跟踪,并提出一种基于剪影的新型视觉位置识别方法,该方法无需训练、全 CPU 运行且优于基线。实验对比显示,融合图像配合该剪影识别方法在光照条件、轨迹和定位性能上表现最佳,证明了多模态信息在不同导航阶段的互补性。

  8. arXiv · 机器人与计算机视觉72

    DYMO-Hair:面向多模态目标条件化的机器人理发动作学习

    论文介绍 DYMO-Hair 系统,通过预训练分层 3D 体素潜空间建模梳子引起的头发形变,结合物理仿真器实现大规模预训练以泛化至未见发型。该系统耦合模型预测路径积分规划器,支持视觉参考和自然语言指令的闭环理发动作。实验显示其在几何误差和用户评分上优于基线系统,并在七种不同属性的真实假发上实现了零样本迁移,无需微调即可达成目标。

  9. arXiv · 机器人与计算机视觉72

    敏捷四旋蜂的追逐 - 逃避博弈中的学习型控制器

    针对强化学习中对手策略变化导致的非平稳性问题,本文提出基于 PSRO 思想的异步多阶段种群训练方法(AMSPB),包含均匀采样与硬优先级的变体。实验在两个约 40 克的 Crazyflie 四旋翼上验证了零样本仿真到现实迁移能力,记录了捕食者最高 4.87 m/s、逃避者峰值速度 3.31 m/s 的飞行数据。论文已被 IEEE RA-L 2026 接收并将在 ICRA 2027 展示。

  10. arXiv · 机器人与计算机视觉23

    AttentionUNet-CA 模型在印度勒克瑙土地利用变化仿真中表现优于空基线与随机森林基线

    AttentionUNet-CA 利用高程、距主干道距离等四个驱动因子预测土地覆盖状态,在印度勒克瑙 2010-2020 年测试集上,其图优值(21.0%)略高于加权 U-Net CA(22.0%)和随机森林 CA(20.3%),但均不及空模型的整体一致性。研究指出注意力门未提升精度,人口密度与距 CBD 距离为最有用驱动因子,预测至 2030 年建成区将增长 22-35%。

  11. arXiv · 机器人与计算机视觉30

    利用合成数据的深度学习模型中预测不确定性与仿真到现实差距的关联探索

    针对机器视觉质检应用中数据稀疏与模型可靠性问题,研究通过集成方法评估基于合成数据的深度学习模型在域偏移下的预测不确定性。实验结果表明,虽然不确定性随仿真到现实差距增加而上升,但性能下降主要由系统性偏差主导而非集成发现所致。该预印本为工业场景有效利用合成数据提供了风险量化依据,强调部署前进行风险评估的重要性。

  12. arXiv · 机器人与计算机视觉83

    Polygraph:基于位姿图的大规模多会话轨迹优化方法

    论文提出了 Polygraph 系统,解决机器人和车辆多次穿越同一环境时的轨迹全局一致性问题。该方法在线处理会话,按关键帧和空间聚类逐步优化,不构建 3D 地图。

    推荐理由:Polygraph 提出在线多会话轨迹优化方案,无需构建 3D 地图即可实现跨设备、跨场景的位姿图融合。

  13. arXiv · 机器人与计算机视觉87

    ForceHarness:将力转化为动作与物理以赋能冻结前沿模型

    针对图像无法表征接触力的问题,ForceHarness 提出一种无需演示或微调的框架,通过自终止力原语闭环控制并翻译力迹为带不确定性的物理量。在真实机械臂上,该方法将 GPT-6 Astra 的零样本成功率从 3.3% 提升至 90.0%,并在仿真基准中超越基于演示的策略及手写专家控制器。作者还构建了 HiddenPhys 七任务 MuJoCo 基准以评估隐藏物理变量下的性能。

    推荐理由:ForceHarness 让冻结模型无需微调即可利用力控提升零样本成功率,HiddenPhys 基准验证了其在隐藏物理变量任务上的表现。

  14. arXiv · 机器人与计算机视觉78

    TRR:一种用于机器人仿真与 RGBT 数据生成的热交互引擎

    论文提出 TRR(Thermal Robot Renderer),这是一个将空间解析的热状态附加到接触对象、并通过接触/传输/分离更新局部热交换的渲染器。材料展示了受控干预如何证明保留热量对后续接触结果的影响,并发布了包含 2,224 个静态 - 动态对的六任务基准数据集(共 4,448 条轨迹)。

    推荐理由:TRR 引擎引入热力学状态模拟,生成带热历史的 RGBT 基准数据集与工程工作流,旨在提升机器人接触安全选择率并加速仿真到现实迁移。

  15. arXiv · 机器人与计算机视觉28

    JEPTERA:一种用于城市无人机导航的平台无关 JEPA 辅助模型预测规划器

    JEPTERA 架构集成联合嵌入预测架构(JEPA)与模型预测控制,在三个 Gym 场景的 180 次运行中完成 28/30 任务。该平台无需修改核心逻辑即可适配 Gazebo、ROS 2、MuJoCo 和 CARLA 等仿真器,并在三张城市地图测试中实现无碰撞单路线飞行。

  16. arXiv · 机器人与计算机视觉78

    SPEED+ 基准下的方向鲁棒性:来自仿真器误设的不合理置信度

    针对轨道视觉导航系统必须依赖合成图像训练的现状,该研究利用 SPEED+ 基准(含 Mylar/铝材反射近似及辐射误差的仿真器)评估了合成到现实的差距。实验发现模型在真实域存在过度自信现象:校准至合成数据 90% 置信度的区域在真实硬件回环测试中仅覆盖 9-15% 的旋转误差。

    推荐理由:研究揭示了仿真器辐射误差导致模型在真实域过度自信,且骨干网络适配比数据增强更能有效缩小合成到现实的差距。

  17. arXiv · 机器人与计算机视觉74

    Right Goal, Wrong Body: Re-grounding Frozen VLAs under Actuation Shift

    论文提出 ReGround 方法,旨在解决视觉语言动作(VLA)模型在部署后因执行器变化(如重新安装、机械磨损或指令延迟改变)而失效的问题。该方法保持 VLA 冻结,通过任务无关的电机 babbling 学习部署机器人的动力学,并在检测到偏移时追踪策略意图运动以重校准。

  18. arXiv · 机器人与计算机视觉73

    DAPPT:基于过程轨迹的域感知策略用于仿真到现实的灵巧工具使用

    论文介绍 DAPPT 框架,旨在解决涉及可变形材料和颗粒物的灵巧操作任务(如沙土挖掘、橡皮泥滚杆)难以进行大规模强化学习的问题。该方法通过追踪由领域参数化的过程轨迹来学习域感知 RL 策略,并将其蒸馏为端到端的域感知传感器运动策略。

  19. arXiv · 机器人与计算机视觉78

    SAFER:解决基于世界模型的自动驾驶规划中的探索 - 利用困境

    论文提出 SAFER 框架,旨在解决基于世界模型的自动驾驶规划中因训练数据覆盖不足导致的探索 - 利用困境。该方法离线阶段利用专家标注的失败日志对部分预训练的代理进行训练,并在仿真环境中引入可恢复的扰动以生成失败样本;在线阶段则通过闭环驾驶持续修正模型超出离线数据覆盖的区域。

    推荐理由:提出 SAFER 框架,利用专家标注的失败日志进行离线预训练以覆盖探索盲区,结合在线闭环修正,在 CARLA 和 MetaDrive 基准上实现最高路线完成率与奖励。

  20. arXiv · 机器人与计算机视觉65

    基于掩码的视觉强化学习中提示词重指定与目标掩码可用性的研究

    针对视觉强化学习(RL)策略在着陆垫外观变化时失效的问题,该研究利用二值目标掩码保留空间表征并引入文本提示来指定目标。实验表明,仅通过修改冻结 DrQ-v2 策略对应的 SAM 3 检测器提示词,即可将香蕉主题着陆垫的成功率从 12.0% 恢复至 68.4%,而无需更新权重;相比之下,填充缺失掩码或修正掩码质心与面积的效果有限。