跳到正文
11月10日周二
  1. arXiv · 机器人与计算机视觉70

    StarWM:用于鲁棒世界模型的自监督训练注意力路由

    DeepMind 团队提出 StarWM 模型,利用自监督动态训练的交叉注意力机制指导视觉内容重建,有效平衡环境动力学捕捉与无关内容抽象。在 DeepMind Control 基准测试中,默认版本在随机帧干扰下表现最强,奖励增强变体在序列视频任务上达到最高回报。代码已开源。

  2. arXiv · 机器人与计算机视觉82

    3D 点溅射用于毫米波雷达新视角合成

    论文提出了首个针对毫米波雷达的新视角合成(NVS)可微分点溅射渲染器 3DPS。该方法直接源于雷达方程的标准立体角形式,为每个定向 3D 点构建基于 ITU-R P.2040 介电常数和板层反射的材料模型,并通过预计算的点扩散函数将复数相量溅射到距离单元中。

    推荐理由:提出首个基于点溅射的毫米波雷达新视角合成渲染器,在保持复数域物理保真度的同时大幅缩短训练时间。

  3. arXiv · 机器人与计算机视觉58

    WireSeg-32K:一个用于线缆实例分割的物理 grounded 合成数据集

    针对线缆等可变形细长物体分割难、标注贵的痛点,作者构建了包含 3.2 万张图像的 WireSeg-32K 合成数据集及配套的实世界测试集。该数据集通过耦合 Cosserat 杆动力学与 Isaac Sim 渲染的 DeformX 共仿真管线生成,确保线缆形状具备物理合理性与接触一致性。

  4. arXiv · 机器人与计算机视觉78

    FogDrive:一种用于分级雾况下感知任务的多模态合成驾驶数据集

    论文提出 FogDrive 数据集,基于 CARLA 生成约 660 个场景(共 13.3 万帧),每个场景包含清晰参考及三种校准后的雾密度版本。数据涵盖相机、深度、语义分割、LiDAR、语义 LiDAR 和雷达等多模态传感器响应。

    推荐理由:该数据集提供分级雾况下的多模态仿真场景,支持在已知能见度下训练感知模型并验证去雾策略的有效性。

  5. arXiv · 机器人与计算机视觉67

    Rectified Flows 的反演:基于轨迹直线性固定点选择方法 SelFix

    论文提出了 SelFix 方法,解决扩散模型反演中多解选择问题。该方法通过最大化逆轨迹的直线性来选择固定点解,在保留收敛性的同时提升重建与编辑质量。实验显示,SelFix 在 FLUX.1-dev 和 PIE-Bench 上优于现有基线,实现了更优的真实图像重建和源保持提示词编辑效果。代码已开源。

  6. arXiv · 机器人与计算机视觉82

    MineXplore:面向无 GPS 地下环境的强化学习探索开源基准

    论文提出了 MineXplore,这是一个基于 MuJoCo 的开源导航基准,数据源自智利铜矿实地测绘。环境重构了 104,423 平方米的隧道网络,包含八边形截面、LiDAR 来源的锯齿状几何、三种地形摩擦区及周期性照明。

    推荐理由:该基准提供基于真实矿场几何的地下导航环境,支持 GPU 加速学习流程,并验证了策略在 GNSS 拒止条件下的稳定性。

  7. arXiv · 机器人与计算机视觉82

    CROWD:一个包含全球城市行车记录仪连续驾驶片段的公开数据集

    作者发布 CROWD 数据集,收录来自 YouTube 的 10.7 万段未编辑城市行车记录仪片段,覆盖 238 个国家和地区、超 3.6 万小时视频。数据排除事故与剪辑内容,仅保留常规驾驶场景,并附带时间、车型及 80 类目标检测与多目标跟踪的预标注 CSV 文件,支持跨域鲁棒性与交互分析研究。

    推荐理由:该数据集提供全球城市行车记录仪片段及预标注目标,支持跨域鲁棒性研究与无视频重分发下的可复现基准分析。

  8. arXiv · 机器人与计算机视觉85

    MolmoB0T:大规模仿真赋能零样本操作

    论文挑战“仿真无法直接迁移至现实”的共识,证明在足够大规模的合成训练数据下,无需真实数据采集或微调即可实现静态与移动操作的零样本泛化。作者开源了 MolmoBot-Engine 生成管线及包含 170 万专家轨迹的 MolmoBot-Data 数据集,并基于此训练了三类策略模型。

    推荐理由:提出仅靠大规模合成数据即可实现零样本现实世界操作,并开源了生成管线与百万级轨迹数据集。

  9. arXiv · 机器人与计算机视觉60

    面向数据覆盖持续扩展:自动文本引导的边缘案例合成

    针对深度学习训练数据偏差问题,本文提出一种自动化的文本引导边缘案例合成流水线。该方法利用经偏好学习微调的大语言模型将图像描述重述为多样化文本提示,进而驱动文生图模型生成具有挑战性的视觉场景。在 FishEye8K 目标检测基准上的评估显示,该方法实现了优于朴素增强和手动工程提示的鲁棒性。代码已开源,论文已被 CVPR 2026 Workshop 接收。

  10. arXiv · 机器人与计算机视觉68

    RefRef:用于重建折射和反射物体的数据集与基准

    针对现有三维重建方法难以处理折射和反射材料的缺陷,作者发布了 RefRef 数据集,包含 150 个合成场景和 60 个真实场景,涵盖复杂几何与多样背景以暴露现有方法的失败模式。研究提供了 Oracle 方法和两阶段基线作为基准,评估结果显示该任务远未解决。材料为预印本版本,代码与项目页面已公开。

  11. arXiv · 机器人与计算机视觉23

    扩散模型合成数据助力多域人脸关键点检测

    针对卡通等少标注领域的人脸关键点检测难题,该方法利用预训练扩散模型生成高质量对齐的合成配对数据集。通过在真实人脸上预训练、文本提示微调及在合成数据上精调三个阶段,实现了跨领域的优异性能。论文已获 ICASSP 2024 接收并开放代码仓库。

  12. arXiv · 机器人与计算机视觉12

    AI-Generated Images as Data Source: The Dawn of Synthetic Era 技术报告

    该报告提出利用生成式 AI 产生的图像作为视觉智能数据源,以解决大规模数据稀缺问题。相比真实数据,合成数据具备数量无限、快速生成及轻松模拟长尾场景等优势,可用于模型训练与仿真验证。文章探讨了支撑这一范式转变的技术基础,并分析了相关的伦理法律与实际考量。

  13. arXiv · 机器人与计算机视觉57

    缓解 GPU 上 3D Gaussian Splatting 的 SM 级负载不均衡

    论文指出现有 3DGS 优化依赖重训或专用加速器,提出一种软件定义的 GPU 调度方法,利用持久化内核优先处理高负载图块并分片异常图块。该方法无需重训或硬件改动,在大规模城市场景中平均加速 Alpha 混合达 2.93 倍,最不平衡帧可达 5.6 倍,且保留原有 Alpha 混合公式。

  14. arXiv · 机器人与计算机视觉72

    Same Physics, Different Gradients:可微物理仿真状态报告

    该论文系统梳理了可微物理仿真中“计算对象”与“反向传播实现”的分类差异,指出精确梯度优势取决于拟合目标来源而非单纯求解器预算。研究量化了接触非光滑性导致梯度丢失的四种机制,并验证了在特定条件下零阶方法优于模拟器梯度的现象。材料提供了报告清单、诊断工具及未来研究议程,旨在澄清文献中的混淆概念。

  15. arXiv · 机器人与计算机视觉74

    塑造有用噪声:能量分布预测视觉预训练质量

    该论文提出使用数据集的能量分布(归一化真实图像密度模型下的对数概率水平分布)作为合成数据的审计与策展原则。作者引入能量 - 层级距离指标,证明其能揭示 FID 等现有指标遗漏的分布不匹配,并预测 CNN 和 ViT 自监督预训练的性能。研究进一步利用该指标重采样和混合合成数据源,在保持多样性的同时匹配真实图像能量直方图,从而提升下游迁移效果。

  16. arXiv · 机器人与计算机视觉78

    单步世界模型需要多少候选?基于冻结 DINO 令牌的最近邻训练研究

    该论文测试了单步随机码本匹配(nearest-of-m)在冻结 DINOv2/v3 令牌上的表现,发现 m=16 即可覆盖枚举的未来且延迟约为扩散方法的 1/30。研究证实该方法在模式不确定性下优于多步流匹配和能量分数生成器,但指出其在连续高维输出上存在欠分散性限制,且准确的风险分析并未提升规划成功率。

    推荐理由:该文在冻结 DINOv2/v3 令牌上验证了单步随机码本匹配方法,发现 m=16 即可覆盖枚举未来且保持低延迟,同时揭示了该方法在连续高维输出上的欠分散性限制。

  17. arXiv · 机器人与计算机视觉42

    频率一致合成与选择性迁移用于医学图像分析

    该研究提出通过自适应频率一致性和选择性特征转移的框架,将医学图像合成与任务学习相链接。在五个数据集上的评估显示,该方法在无配对监督下训练的对抗及扩散翻译器中提升了转换保真度,并在脑肿瘤分割和病灶中心点检测上取得增益。所有 105 组配对比较的点估计均支持所提方法,包括在未重新训练情况下对治疗后 MRI 进行的 36 次外部翻译比较。

  18. arXiv · 机器人与计算机视觉85

    PhysOPSD:以代码为特权实现物理可信的视频生成

    针对现有视频生成模型在物理动态上表现脆弱的难题,本文提出 PhysOPSD 方法,引入可执行代码作为特权物理上下文,将真实场景转化为可验证的仿真程序。该方法通过双级物理特权和受控物理变化,在仅用 3K 样本的情况下显著优于监督微调与强化学习基线,同时保持视频生成质量。

    推荐理由:提出用可执行代码作为特权上下文,以少量样本提升视频生成的物理合理性。

  19. arXiv · 机器人与计算机视觉78

    ReVMap:基于连通性感知的局部地图融合矢量全局建图方法

    针对大规模矢量高清地图标注成本高及现有方法忽视预测不确定性的问题,本文提出 ReVMap 框架。该方法利用点级定位不确定性将全局先验融入局部预测以提升鲁棒性,并预测局部到全局的连通性以进行可靠性感知的选择性更新。在 nuScenes 和 Argoverse 2 基准上的实验表明,ReVMap 在局部地图预测与全局地图构建方面均达到最先进水平。

    推荐理由:提出 ReVMap 框架,通过不确定性引导先验与连通性感知融合解决矢量 HD 地图构建中的误差传播问题。

  20. arXiv · 机器人与计算机视觉73

    UltraVoxelGS:首个实现快速且物理保真渲染的三维超声重建方法

    论文提出了 UltraVoxelGS,这是一种针对三维超声重建的 Feed-Forward(前馈)高斯泼溅方法,首次实现了快速重建与物理保真的实时渲染效果。该方法通过 voxel-to-Gaussian 的前馈路径解耦了表示大小与输入数量,并提出了感知超声特性的外观渲染策略以处理声学传播导致的视图依赖现象。

  21. arXiv · 机器人与计算机视觉49

    物理实验室自驱动测试床对比贝叶斯与智能体优化算法

    该研究开发了一套集成商用仪器的物理测试床,实现了连续 24 小时无人值守的闭环自主实验。系统在四小时内完成六次独立任务,利用智能体优化器将匹配目标吸光度光谱所需的迭代次数较传统贝叶斯优化减少最多 52%,并成功解决后者在 48 次内未收敛的目标。该平台可作为参考基准,用于评估包括大语言模型指导在内的新兴 AI 策略,以应对真实世界中昂贵且耗时的实验部署挑战。

  22. arXiv · 机器人与计算机视觉55

    CrossLiDAR:可控多传感器激光雷达序列生成

    针对高保真激光雷达仿真在结构控制与时序一致性上的瓶颈,本文提出了 CrossLiDAR 统一框架。该模型基于修正流目标与多模态扩散 Transformer 骨干,通过跨传感器交互模块和 ControlNet 风格分支支持结构条件输入(如 BEV 先验或 3D 边界框),并采用自回归方式扩展短序列以增强长时序连贯性。

  23. arXiv · 机器人与计算机视觉74

    ObjectWorld:基于大规模 3D 全物体流数据的世界模型

    该论文提出全物体流(3D full-object flow)表示,将稠密 3D 轨迹分配至目标物体完整表面(含遮挡区域),统一适用于刚性与柔性物体。作者构建了一个包含 1210 小时视频与物理仿真的数据集,并训练了接收图像与任务描述、预测全物体流的世界模型。实验显示该表示具有可靠的标注质量、可扩展的流预测能力,并在新型场景与机器人本体上实现了有效的下游操作。

  24. arXiv · 机器人与计算机视觉59

    语义合成优于暴力搜索:LLM 引导的变换设计实现高效学习

    该论文提出利用大型语言模型(LLM)在预定义空间之外合成可执行的数据变换程序,以解决计算机视觉训练分布设计中计算成本高昂的问题。研究对比了包括标准增强策略、暴力搜索及两种 LLM 直接代码生成在内的九种策略,结果显示 LLM 生成的变换程序在所有数据集上均优于暴力搜索(评估超过 6000 个候选者)。

  25. arXiv · 机器人与计算机视觉48

    REDiff-AD:无需训练与目标掩膜的工业异常图像生成框架

    REDiff-AD 框架通过多样性驱动的 In-context MMDiT,在无需模型训练或目标掩膜的情况下,利用单张参考异常图实现高效采样并生成高保真缺陷。该方案引入自适应参考条件增强与多样性引导模块,解决了真实缺陷稀缺难题,显著提升了下游分类、检测与定位性能。代码已开源,论文被 WACV 2027 接收,适用于大规模工业异常数据增强任务。

  26. arXiv · 机器人与计算机视觉82

    AmodalBox:基于图像生成资产的自动化 3D 边界框标注框架

    针对稀疏驾驶场景中 LiDAR 点云仅覆盖物体小部分的挑战,本文提出 AmodalBox 框架,利用图像生成的 3D 资产作为非遮挡几何先验。该方法通过建立输入图像与渲染视图的对应关系,将标准非遮挡几何与部分观测的世界空间 LiDAR 点云对齐。

    推荐理由:该方法利用图像生成资产作为几何先验解决部分遮挡问题,在 nuScenes 和 Waymo 数据集上显著提升了检测性能。

  27. arXiv · 机器人与计算机视觉48

    Agent2BIM:现实捕获配置与先验模型在竣工建模中的系统性评估

    Agent2BIM 是一个基于智能体的 Scan-to-BIM 框架,系统评估了实验室及机电场景下七种现实捕获配置的建模效果。实验显示,智能手机 LiDAR 输入使组件位置在 20cm 内的重建比例达 86%,而纯全景图仅 9%;先验 IFC 模型虽能提升机电连接度但可能传播误差。该研究揭示了视觉证据与度量数据在智能体竣工建模中的互补作用,论文已上传至 arXiv。

  28. arXiv · 机器人与计算机视觉75

    VAComp:面向移动视角的视图感知全投影仪补偿框架

    针对现有方法在移动观看者场景下需重新训练或存在全局尺度模糊的问题,本文提出了 VAComp 框架。该方法利用度量校准恢复全局尺度,并通过双棋盘法完成反向相机标定,实现了裸眼设置下的虚拟物体替换与外观材质修改。系统开发了两种非迭代混合方法(VAComp-SD 和 VAComp-SI),结合高斯几何校正与学习光度补偿,单次前向传播即可生成补偿图像,在真实实验中分别实现了实时更新和交互速率性能。

  29. arXiv · 机器人与计算机视觉85

    Latent-WAM++:面向端到端自动驾驶的世界与动作表征塑造

    论文提出 Latent-WAM++,一种面向端到端自动驾驶的以表征为中心的世界动作模型(WAM)。该方法通过场景 - 自车未来预测、SIGReg 分布稳定化及冻结几何先验构建世界表征;利用改进的 MeanFlow 速度空间目标直接预测多模态轨迹提议并实现一步采样;同时对齐视觉语义衍生的停止梯度目标以优化预输出动作特征。

    推荐理由:该工作提出 Latent-WAM++,通过重塑中间表征监督与冻结几何先验,在 NAVSIM v2 实现 SOTA 性能并将端到端规划器训练成本降低 88.1%。

  30. arXiv · 机器人与计算机视觉35

    Latent-Action World Models 跨角色身体结构的动作迁移实证研究

    该研究针对无标签视频学习动作的潜在动作世界模型,探索了其在不同身体结构(如猫、Blob 和人类)间的动作迁移可行性。实验在包含六种身体计划的合成基准及 DeformingThings4D 数据集上验证,发现固定相机下基线屏幕运动得分高达 0.71,而跟随相机的最佳模型对未见动物家族仅得 0.46。

  31. arXiv · 机器人与计算机视觉38

    FSCM-Net 提出频率 - 结构互补建模网络用于高光谱图像融合

    FSCM-Net 通过耦合频域依赖学习与结构自适应局部细化,解决传统方法在空间 - 谱特征交互中的局限。该网络利用 SSFCA 模块构建空间与隐式通道亲和性,并结合 SC-DFF 模块生成位置相关聚合核以增强细节并保持光谱保真度。实验在两个仿真基准和一个真实遥感数据集上验证了其在空间细节重建和光谱保留方面的优越性能。

  32. arXiv · 机器人与计算机视觉67

    Tiresias:面向语言条件的世界模型研究

    该论文针对自然语言指令驱动的内部模拟规划任务,提出了统一的共享任务 LCWM 及包含 15 个数据集的基准 LCWM-Bench。作者引入了 Tiresias 智能体,通过选择性想象机制结合扩散策略、轨迹排序器与视频预训练世界模型实现高效规划。实验表明该方法在导航、机器人、3D 游戏和驾驶等多域任务上具有竞争力的性能,为研究语言引导的世界模型规划提供了统一评估起点。

  33. arXiv · 机器人与计算机视觉58

    AI 驱动的汽车零部件缺失几何修复方法研究

    针对汽车零部件更换成本高且浪费的问题,本文提出一种基于配对观测(完整模型与合成损坏部件)的缺失几何重建流程。该方法利用无噪声颜色、深度和轮廓图像识别缺失区域,并通过多视角体素重建估计缺失部分;引入预训练 DINOv2 模型以验证候选缺失区域并探索视觉特征对重建的辅助作用。