跳到正文
  1. arXiv · 机器人与计算机视觉82

    CaFe:一种因果忠实条件交通场景生成方法

    针对语言引导的交通仿真中存在的意图泄露问题,本文提出了 CaFe 模型。作者构建了包含 531,099 个场景的 WOMD-PACT 数据集,并开发了一种配对干预测试方法来量化泄露程度。CaFe 采用双流扩散强制机制,在闭环微调下将智能体间的交互限制为公共信念,成功消除了可测量的意图泄露,同时保持了与 WOSAC 相当的现实度(0.763)。

    推荐理由:该研究提出 CaFe 仿真器,通过限制交互于公共信念消除了指令泄露问题,同时保持了高现实度。

  2. arXiv · 机器人与计算机视觉85

    Evolve in Panorama, Render in View:用于视频世界模型的全景状态演化方法

    针对现有视频世界模型在视角变化时冻结场景或丢失物体的问题,本文提出 PanoEvo 架构,利用全景扩散模型的潜在空间进行全局状态演化,并通过透视渲染器生成高质量视图。

    推荐理由:提出 PanoEvo 架构解决全景视频世界模型的视角演化问题,在 WRBench 和 STEVO-Bench 上取得最佳分数。

  3. arXiv · 机器人与计算机视觉82

    InertialVideo World Models:引入惯性先验的视频世界模型

    论文介绍 InertialWorld 模型,该模型在自回归生成中利用惯性状态演化机制,避免每步重复重建导致的误差累积。核心组件 Inertial Memory 包含欧拉网格与拉格朗日载体,结合动作条件运动预测下一帧并融合新旧内容。实验涵盖机器人操作、3D 游戏仿真和开放世界导航,性能对标现有基线。代码链接见 arXiv 页面。

    推荐理由:提出将惯性作为先验的 InertialWorld,通过欧拉网格与拉格朗日载体结合,解决视频预测中的误差累积问题。

  4. arXiv · 机器人与计算机视觉85

    SARVIA:一种快速适配合成孔径雷达基础模型的方法

    针对合成孔径雷达(SAR)基础模型依赖昂贵预训练的问题,本文提出 SARVIA 方法,利用现代多模态大语言模型(MLLMs)已有的视觉编码器作为下游初始化。该方法通过自监督视觉问答任务对 MLLM 进行自适应后预训练,仅需 600 步和 2 GPU 小时即可在六个 SAR 检测与分割基准上超越专用基础模型。研究将重点从重复的昂贵预训练转向可复用的专业化过程,并开放了数据集与代码。

    推荐理由:提出 SARVIA 方法,利用现有 MLLM 视觉编码器通过自监督微调实现合成孔径雷达任务的高效适配。

  5. arXiv · 机器人与计算机视觉82

    BATMoS:面向高效视频扩散模型的预算感知引导分配方法

    论文 BATMoS 提出一种无需额外训练路由器的引导分配方案,通过基于幅值的时间规则将新鲜引导与缓存引导结合,在 CogVideoX-2B 上以 20% 更少的分支评估达到接近全量引导的生成质量。该方法可与特征复用组合,进一步降低有效计算分支数,为视频扩散模型推理提供了实用的预算优化机制。

    推荐理由:BATMoS 提出基于时间步的引导策略复用机制,在固定推理预算下提升视频生成质量并减少计算分支评估。

  1. arXiv · 机器人与计算机视觉82

    PRG-Fusion:基于重建证据编排生成先验以合成驾驶视角视频

    针对驾驶场景下视图切换导致的空间退化与生成不一致问题,论文提出 PRG-Fusion 框架,利用稀疏 LiDAR 投影建立几何控制并学习稠密 3DGS 渲染的外观控制。该方法根据重建证据将像素划分为保持、修复和生成三类区域,分别执行外观保留、结构修正和内容补全,在 Waymo 数据集上实现了具有优异视觉质量与几何保真度的新轨迹视频合成。

    推荐理由:提出 PRG-Fusion 框架,利用重建证据在可靠区域保持内容、受损区域修复结构、无支撑区域生成新视图,实现高几何保真度的驾驶轨迹视频合成。

  2. arXiv · 机器人与计算机视觉78

    UnderOneFacade:全球最大的跨大陆 3D 建筑立面语义分割基准数据集发布

    作者发布了 UnderOneFacade,这是迄今为止最大的跨国界和跨大陆的 3D 建筑立面基准数据集,包含总计 27 亿个标注点的厘米级精度点云及层级化、标准化的语义标签。

    推荐理由:该数据集提供全球跨域、厘米级精度的建筑立面分割基准,揭示了现有模型在细粒度识别与泛化上的瓶颈。

  3. arXiv · 机器人与计算机视觉82

    AgriChrono:面向田间作物新视角合成的纵向数据集与基准

    针对田间作物重建中薄重叠结构与光照变化等挑战,作者发布了 AgriChrono 纵向油菜数据集及新视角合成(NVS)基准。该数据集包含约一个月内的 160 次采集会话、四路 RGB 流与两路深度图。

    推荐理由:该工作发布纵向油菜数据集与基准,并开源 AgriSplat 方法以解决薄重叠结构重建难题。

  4. arXiv · 机器人与计算机视觉82

    LynnReal-Hand:解锁手部控制的世界交互能力

    针对直接物体交互需要精细控制的挑战,本文介绍了 LynnReal-Hand 这一手控视频世界模型,统一了精确的交互建模与高效的流式生成。团队整理了涵盖真实与合成环境的 10 万条交互片段,开发了手部感知监督以改善细粒度动作;利用因果流图实现少步生成,并结合区域感知分数蒸馏融合视频与图像先验来优化交互动力学和视觉外观。

    推荐理由:该工作提出手控视频世界模型,通过因果流图与区域感知蒸馏提升交互精度,并开源数据集、权重及代码以支持相关研究。

  5. arXiv · 机器人与计算机视觉78

    TRR:一种用于机器人仿真与 RGBT 数据生成的热交互引擎

    论文提出 TRR(Thermal Robot Renderer),这是一个将空间解析的热状态附加到接触对象、并通过接触/传输/分离更新局部热交换的渲染器。材料展示了受控干预如何证明保留热量对后续接触结果的影响,并发布了包含 2,224 个静态 - 动态对的六任务基准数据集(共 4,448 条轨迹)。

    推荐理由:TRR 引擎引入热力学状态模拟,生成带热历史的 RGBT 基准数据集与工程工作流,旨在提升机器人接触安全选择率并加速仿真到现实迁移。

  6. arXiv · 机器人与计算机视觉78

    SPEED+ 基准下的方向鲁棒性:来自仿真器误设的不合理置信度

    针对轨道视觉导航系统必须依赖合成图像训练的现状,该研究利用 SPEED+ 基准(含 Mylar/铝材反射近似及辐射误差的仿真器)评估了合成到现实的差距。实验发现模型在真实域存在过度自信现象:校准至合成数据 90% 置信度的区域在真实硬件回环测试中仅覆盖 9-15% 的旋转误差。

    推荐理由:研究揭示了仿真器辐射误差导致模型在真实域过度自信,且骨干网络适配比数据增强更能有效缩小合成到现实的差距。

  7. arXiv · 机器人与计算机视觉78

    SAFER:解决基于世界模型的自动驾驶规划中的探索 - 利用困境

    论文提出 SAFER 框架,旨在解决基于世界模型的自动驾驶规划中因训练数据覆盖不足导致的探索 - 利用困境。该方法离线阶段利用专家标注的失败日志对部分预训练的代理进行训练,并在仿真环境中引入可恢复的扰动以生成失败样本;在线阶段则通过闭环驾驶持续修正模型超出离线数据覆盖的区域。

    推荐理由:提出 SAFER 框架,利用专家标注的失败日志进行离线预训练以覆盖探索盲区,结合在线闭环修正,在 CARLA 和 MetaDrive 基准上实现最高路线完成率与奖励。

  8. arXiv · 机器人与计算机视觉82

    Whole-Slice Misses Escape Round-Trip Filtering and Volumetric Dice in a Source-Free Flow-Matching Segmenter

    Guobiao Wang 审计了一种无源流匹配分割器在 120 名未见训练数据上的表现,发现模型常漏检脾脏且现有质量门控(往返过滤和体积 Dice)无法识别此类错误。作者提出 Chain-and-Fill 方法在 119 名患者上满足所有预注册终点,其严重组增益与 SAM 2 传播不可区分,且仅 1/357 的患者种子对受损。

    推荐理由:原文审计了无源流匹配分割器在 CT 影像中的脾脏漏检问题,并验证了链式填充修复方法的有效性。

  1. arXiv · 机器人与计算机视觉82

    TelePhysica:基于智能体的物理交互式场景重构方法

    TelePhysica 是一个闭环框架,旨在从单张照片重建可执行的多体制物理世界,以驱动状态化的三维交互和轨迹感知的视频合成。该方法利用视觉语言编码智能体生成分离的视觉网格和声明性物理模型,并通过像素对齐轮廓批评与零力重力平衡预飞检查进行两阶段验证。

    推荐理由:该工作提出闭环框架,从单张照片重建可执行的物理世界以驱动状态化交互与视频合成。

  2. arXiv · 机器人与计算机视觉78

    Ego2Flow:基于真实城市地图蒸馏的自动驾驶交通系统影响基准

    该论文介绍 Ego2Flow 基准,用于评估自动驾驶在由真实世界城市数据蒸馏生成的地图上的交通系统级影响。作者开发了代理引导的地图蒸馏框架,结合现实地图与观测及地理信息,通过迭代反馈机制保留车道拓扑和关键几何特征,简化非必需细节并补全未观测区域。

    推荐理由:提出闭环基准 Ego2Flow,评估自动驾驶策略对从真实道路蒸馏出的地图的交通系统影响。

  3. arXiv · 机器人与计算机视觉78

    Agentic-Teacher:面向失败的 VLA 后训练智能体数据引擎

    Agentic-Teacher 是一个用于视觉语言动作(VLA)模型后训练的自主数据引擎。该引擎接收预训练检查点、任务规范及环境工具,通过分析失败执行轨迹选择干预状态,迭代开发闭环代码策略以收集成功演示。

    推荐理由:提出利用智能体自主生成失败驱动数据的引擎,结合动作噪声与流匹配过滤优化演示质量,在仿真环境中显著提升 VLA 模型成功率。

  1. 量子位78

    UniPat AI 发布「史上最严」湿实验预测基准 SPU

    UniPat AI 牵头推出 Science Prediction Universe(SPU)基准,联合十余家顶尖高校与科研机构,涵盖化学、材料、生物和医学等 32 个子领域共 4207 个任务。

    推荐理由:SPU 基准发布,揭示当前模型在湿实验预测上表现有限且算力投入未必提升效果,为 AI4S 提供统一评估标准。

  1. arXiv · 机器人与计算机视觉82

    Instant NuRec:面向驾驶场景仿真的前馈式 3D 高斯重建模型

    NVIDIA 发布 Instant NuRec,这是一个前馈神经网络模型,旨在解决传统神经仿真方法速度慢且需逐场景调优的问题。该模型仅需一次前向传播,即可将多视角驾驶日志(约 10-20 秒)快速重建为包含静态与动态层的 3D 高斯泼溅(3DGS)世界、天空立方体及相机 ISP 校正结果。

    推荐理由:NVIDIA 提出 Instant NuRec,通过前馈网络将多视角驾驶日志在约 1.5 秒内重建为可仿真的高斯泼溅场景,性能优于现有基线。

  2. arXiv · 机器人与计算机视觉82

    NVIDIA 发布 OmniDreams:面向自动驾驶闭环仿真的实时生成式世界模型

    NVIDIA 发布 OmniDreams,这是一个基于 Cosmos 扩散模型中后训练的实时生成式世界模型,旨在解决长尾场景下自动驾驶策略安全评估的瓶颈。该模型通过自回归方式根据过去帧、当前仿真状态及即时驾驶动作生成逼真的传感器视频,能合成极端天气和不可预测的动态行为等难以捕捉的现象。

    推荐理由:NVIDIA 推出 OmniDreams,利用 Cosmos 扩散模型基座实现实时闭环生成,支持极端场景与动态交互,并展示在 NuRec 数据集上优于 Alpamayo 1.5 的预训练策略性能。