跳到正文
10月20日周二
  1. arXiv · 机器人与计算机视觉33

    Generative Spatiotemporal Data Augmentation:利用视频扩散模型增强低数据场景下的计算机视觉性能

    该方法利用现成视频扩散模型,从图像数据集生成逼真的三维空间与时间变化,以弥补传统几何变换在相机视角和场景动态上的不足。在标注稀缺的无人机(UAV)成像等低数据设置中,引入合成视频片段作为补充训练数据可带来一致的性能提升。研究提供了选择生成架构、迁移标注及解决遮挡区域的具体指南,并在 COCO 子集与 UAV 数据集上验证了其在数据匮乏 regime 下的有效性。

  2. arXiv · 机器人与计算机视觉82

    BFM-Zero:一种用于人形机器人控制的基于无监督强化学习的可提示行为基础模型

    论文提出 BFM-Zero 框架,旨在统一人形机器人的多样化控制任务。该框架利用无监督强化学习和前向 - 后向(FB)模型构建共享隐空间,将动作、目标与奖励嵌入其中,支持在不重新训练的情况下通过提示进行下游任务适配。实验在宇树 G1 真机上进行,验证了其在零样本运动追踪、目标到达及奖励优化等任务上的有效性,并展示了从仿真到现实的迁移能力。

    推荐理由:提出 BFM-Zero 框架,利用无监督强化学习与前向 - 后向模型构建可提示的共享隐空间,在宇树 G1 真机上实现零样本运动追踪与目标到达。

  3. arXiv · 机器人与计算机视觉55

    Equivariant Volumetric Grasping:一种针对垂直轴旋转的等变体积抓取模型

    论文提出了一种新的体积抓取模型,该模型对绕垂直轴的旋转具有等变性,显著提升了采样效率。研究采用三平面体特征表示设计,其中水平面特征对 90 度旋转保持等变,而其他两个平面的特征之和对该变换诱导的反射保持不变。

  4. arXiv · 机器人与计算机视觉65

    AnyNav:基于视觉神经符号摩擦学习的非结构化环境导航方法

    针对非结构化环境下机器人导航中物理模型难以捕捉非线性动力学、数据驱动方法泛化性差的挑战,本文提出 AnyNav 框架。该框架结合神经网络进行视觉感知与符号物理模型推理地形 - 车辆动力学,采用指令学习范式及双层优化训练摩擦网络,显著提升跨地形、多车型及工况的泛化能力。

  5. arXiv · 机器人与计算机视觉84

    Self-Improving Video-to-Action Models:一种通过环境交互进行自我改进的视频到动作模型

    论文介绍 Mirror 方法,这是一种无需人工奖励或专家动作数据的自监督视频到动作映射方法。该方法通过在环境中尝试执行对视觉计划的猜测来学习,并利用生成的视频 - 动作对增量式自我改进,从而更紧密地跟随视觉规划器。

    推荐理由:提出无需人工奖励或专家动作数据的自监督视频到动作映射方法,在 Atari、Minecraft 等基准上实现超越现有观测学习方法的性能。

  6. arXiv · 机器人与计算机视觉68

    FunCAD:合成具备功能的 CAD 机制研究

    针对大语言模型生成的 CAD 装配体常无法实现预期物理功能的问题,本文提出 FunCAD-Harness 框架,将抽象需求转化为候选方案专用的物理测试,利用仿真反馈指导设计迭代。研究构建了涵盖 46 类机械结构的 FunCADBench 基准,实验表明该方法能发现视觉检查难以察觉的机械故障,显著优于标准仿真增强基线。

  7. arXiv · 机器人与计算机视觉84

    PrismWAM:在世界动作模型中解耦状态表示

    论文提出 PrismWAM,旨在解决世界动作模型(WAM)将外观与物理构型纠缠的问题。该方法将世界状态分离为语义上下文和受物理规律支配的演化过程,构建了从语义规划到物理卷展再到可执行动作的流水线。

    推荐理由:提出将语义与物理状态解耦的 PrismWAM,仅凭 RGB 输入在仿真和真实环境中实现操作性能超越大规模预训练基线。

  8. arXiv · 机器人与计算机视觉53

    Holi-World:基于人类第一人称经验的整体世界智能构建

    论文介绍 Holi-World 生态系统,整合了经验捕获、世界表征、自动化数据构建、模型学习与独立评估。系统通过结合静态与动态感知自动构建连接场景结构与交互历史的记录,将约 100 个自采集场景整理为包含约 80K QA 对的训练资源用于训练 HOLIWORLD-VL-4B 模型。

  9. arXiv · 机器人与计算机视觉38

    单目飞行几何感知规划框架:跨模态蒸馏实现仿真到现实高速避障

    该研究提出一种无需显式重建深度的几何感知单目视觉规划框架,通过跨模态知识蒸馏将深度专家特征转移至 RGB 规划器。系统在 3D Gaussian Splatting (3DGS) 仿真环境中训练后直接部署于真实环境,未进行现实微调即实现最高 6.5 m/s 的障碍物规避能力。

  10. arXiv · 机器人与计算机视觉38

    K-AoI:动态网络下数字孪生遥操作的时空同步指标

    Kinematic Age of Information (K-AoI) 提出一种结合瞬时笛卡尔速度的时空同步指标,将时间延迟转化为物理意义上的空间发散。研究在含六自由度机械臂、Unity 数字孪生及七种网络条件的测试床中验证,发现 K-AoI 与 AoI 的秩相关系数在卫星连接下降至 0.22,且拒绝通用帕累托分布假设。

  11. arXiv · 机器人与计算机视觉78

    AeroIntent:一种用于无人机任务意图识别的同步多模态基准

    针对现有数据集在评估无人机任务级意图方面的不足,该工作发布了 AeroIntent 仿真基准,包含由 22 条轨迹程序生成的 990 个雷达、RGB、红外和深度观测序列。基于此基准提出的 AeroMIR 推理器在严格的轨迹不重叠协议下,平均准确率达 71.56%,优于最强基线 7.79 个点。该基准与模型为多模态无人机意图识别提供了可复现的基础。

    推荐理由:该工作发布了一个包含多模态序列的无人机任务意图识别基准,并提出了融合雷达轨迹与视觉证据的结构化推理器。

  12. arXiv · 机器人与计算机视觉75

    ReDOA:基于观察对齐的现实世界蒸馏用于图像基操作策略学习

    论文提出 ReDOA 框架,旨在解决通用机器人操作中数据采集成本与现实环境适应性的权衡问题。该方法将控制学习与感知学习解耦,在仿真中训练的状态基教师策略于真实机器人上执行,利用收集到的轨迹将其控制知识蒸馏为图像基学生策略。

  13. arXiv · 机器人与计算机视觉58

    揭示并弥合视觉语言导航中的物理可执行性差距

    该研究指出当前评估指标可能掩盖物理不可行动作,引入 Visual-Semantic Traversability Alignment (VeSTA) 框架以对齐语义能力与具身实现。通过轨迹相对组策略优化和可通行风险批评机制,在 R2R 和 RxR 数据集上减少碰撞失败并保留导航性能;真实机器人实验表明学习到的偏好能迁移到仿真之外。

  14. arXiv · 机器人与计算机视觉78

    SpaRV:基于稀疏辐射体的可扩展几何一致 LiDAR-视觉建图与渲染

    论文提出 SpaRV(Sparse Radiance Voxels),一种通过可微射线步进渲染的稀疏辐射体地图方法,旨在解决机器人仿真、导航和检测中对照片级真实且几何准确的地图需求。

    推荐理由:提出 SpaRV 方法,利用稀疏辐射体与可微射线步进实现 LiDAR 与图像联合映射渲染,解决大场景几何一致性与显存限制问题。

  15. arXiv · 机器人与计算机视觉72

    Clean Forcing:基于冻结基座的抗漂移自回归视频扩散方法

    该文提出 Clean Forcing 方法,利用冻结的预训练视频扩散模型作为基座,通过训练一个仅含 590 万参数的 LoRA 校正器来补偿自回归生成中的确定性漂移误差。该方法无需真实视频数据即可在文本到视频的 50 秒生成任务中,将Δ-漂移从+11.3显著降低至+1.65(无真数)或-0.16(使用少量真数),且推理成本不增加。

  16. arXiv · 机器人与计算机视觉58

    AQUAACT:首个水下遥操作数据集与闭环基准

    arXiv 发布 AQUAACT,这是首个公开的水下机器人语言标注数据集,包含 1.9 小时真实演示和 17.9 小时仿真演示及惯性测量数据。实验表明该数据集支持从仿真到真实的迁移并减少真实样本需求,但七种策略在闭环任务中完成率均低于五分之一,且陆地预训练对水下大模型无显著优势。

  17. arXiv · 机器人与计算机视觉72

    MultiAltitudeSR:一种基于物理地面采样距离条件的多高度农业无人机图像超分辨率框架

    针对无人机图像中飞行高度与空间分辨率的权衡问题,该研究提出了 MultiAltitudeSR 框架,通过条件调制特征重建以适配不同源目标地面采样距离。模型在 10 至 70 米高度的真实无人机图像上联合训练,无需成对微调即可覆盖从 1.18 倍到 6.03 倍的多种放大尺度。

  18. arXiv · 机器人与计算机视觉72

    面向多样化人形机器人行走与操作的行动对齐潜在规划方法

    针对人形机器人在多样任务中需兼顾高层决策与物理响应的挑战,本文提出 FIBER 框架,利用冻结行为基础模型(BFM)的可执行潜在空间作为共享规划表示。通过潜在策略投影(LPP),将独立习得的特定任务策略映射至该空间,在保持高频状态反馈的同时实现低频规划。

  19. arXiv · 机器人与计算机视觉58

    BodyBridge:面向弱势道路使用者的 grounded body layers 实现仿真到现实的迁移

    arXiv 论文 BodyBridge 针对仿真视频中行人和骑行者(VRU)缺乏姿态与身份细节的问题,提出一种结合场景几何、像素级身体对应及精确 VRU 掩码的表示方法。该方法在 CARLA 到真实视频的翻译任务中,将近距离 [email protected] 提升 22%,并将身体翻转错误减少 18%。所有代码、数据与模型检查点将公开以支持可复现研究。

  20. arXiv · 机器人与计算机视觉58

    面向空间机器人的强化学习:快速训练与可靠的现实世界迁移

    该工作演示了一种基于快速仿真训练的框架,利用强化学习控制策略,能在单张消费级 GPU 上少于 20 分钟的训练时间内,使四足机器人可靠地穿越包括月球模拟设施在内的多样化真实地形。材料展示了仿真到现实的可靠迁移能力,但未报告具体的部署规模或商业化许可信息。

  21. arXiv · 机器人与计算机视觉42

    多模态交互估计实现接触感知自适应阻抗控制

    该研究提出融合力历史与三维点云的 Transformer 分类器,在单臂操作及 Franka 双臂零样本部署中,于单模态完全遮挡下仍保持超 90% 准确率。系统通过识别未知负载自动补偿并切换阻抗模式,成功验证了从仿真到硬件的泛化能力,支持安全精确的人机协作任务。

  22. arXiv · 机器人与计算机视觉72

    CLARO:面向杂乱环境的开放词汇抓取机器人编排器

    论文介绍 CLARO,这是一个利用视觉语言模型(VLM)智能体来编排感知与操作技能的系统,能够处理开放词汇的目标检测、分割、6 自由度抓取及非抓持推搡任务。系统在动态仿真环境中平均成功率达 89.1%,在高度杂乱场景下比最强竞争方法提升超 16%;真实部署实验显示其跨机械臂迁移能力强,成功率达 88.8%。该工作已接受至 WACV 2027。

  23. arXiv · 机器人与计算机视觉56

    通过内部几何构造实现 AI 生成 3D 形状的功能化

    针对 Hunyuan 3D 等模型生成的 3D 形状常缺乏合理内部结构的问题,本文提出一种计算框架,利用 VLM 进行形状分割并构建感知内部的部件图。该方法将各部件内部几何建模为广义圆柱体,通过优化从外部几何推断参数,在保持外观的同时确保功能有效性。研究已在容器、家具等类别上验证,并对部分样本进行了实物制造与功能测试。

  24. arXiv · 机器人与计算机视觉45

    CrowdH-Edit:基于参考引导指令的合成朝觐人群图像生成框架

    CrowdH-Edit 提出了一种结合真实图像结构参考与文本指令的框架,用于生成符合神圣场所几何、白衣朝圣者及光照变化的合成朝觐人群数据。该研究选用未额外训练的 Qwen Image Edit 在 ComfyUI 工作流中构建数据集,最终产出含 387 张标注图像的 CrowdH-Edit-Ann-387。下游评估显示,将合成子集加入真实训练数据可降低三个模型的均方绝对误差及两个模型均方根误差。