跳到正文
10月21日周三
  1. arXiv · 机器人与计算机视觉68

    OPIS:一种面向多物体记忆的输入 grounding 视频世界模型基准

    针对现有协议依赖生成历史或参考视频导致无法真实评估记忆能力的局限,该研究提出 OPIS 基准,严格锚定初始观测中的固定对象实例进行评测。数据集涵盖现实、具身机器人及游戏世界共 500 个案例,包含 12,672 个刚体、连杆和可变形物体的密集标注。

  2. arXiv · 机器人与计算机视觉34

    FreeCam:无需训练的伪装图像生成新范式

    FreeCam 基于冻结的修复扩散框架,利用上下文推理模块与内在外观模块实现无需任务特定训练的伪装图像生成。该方法在保持前景完整性的同时降低感知可分离性,实验证明其达到最先进质量并为伪装目标检测提供合成监督。该研究作为预印本发布于 arXiv,代码与权重开放许可,适用于计算机视觉领域。

  3. arXiv · 机器人与计算机视觉73

    NeoWorld-Pro:基于单目图像的交互式场景编程用于具身仿真

    论文提出 NeoWorld-Pro 框架,利用多模态大模型的零样本推理与代码合成能力,将单张 RGB 图像转化为指定物体几何、关节及物理属性的可执行程序,并通过物理引擎闭环迭代修正生成结果。实验表明该方法优于开环及现有单目重建方法,支持稳定堆叠等复杂下游任务。材料为 NeurIPS 2026 接收的预印本,未报告真实机器人部署结果。

  4. arXiv · 机器人与计算机视觉16

    MASC:基于强化学习的金属感知 MRI 采样与校正加速框架

    MASC 提出统一强化学习框架,联合优化金属感知 k 空间采样与伪影校正以解决 MRI 成像难题。该方法构建配对仿真数据集训练 PPO 智能体,在 FastMRI 跨数据集实验中验证了优于传统策略的泛化能力。代码与模型已公开,支持加速 MRI 采集与诊断辅助。

  5. arXiv · 机器人与计算机视觉83

    AEON:统一视频与 3D 世界模型的框架

    论文提出 AEON 框架,旨在弥合基于视频生成模型(如 Sora)缺乏 3D 一致性与基于 3D 生成模型(如 Marble)缺乏真实感之间的差距。该框架在文本或图像条件的视频潜在空间内运行,生成可渲染的 4D 图形原语——具体为 4D Gaussian Splatting (4DGS) 作为显式世界表示。

    推荐理由:提出 AEON 框架统一视频与 3D 世界模型,通过 4DGS 显式表示实现几何一致性与真实外观的兼顾。

  6. arXiv · 机器人与计算机视觉73

    Industrial ReMEmbR:面向机器人车队的时空记忆扩展方案

    论文介绍 IndustrialReMEmbR 系统,旨在解决仓库机器人车队在保留观测语义记忆时的高计算、通信和存储成本问题。该系统将 NVIDIA ReMEmbR 架构扩展至车队场景,利用端侧 NVIDIA Jetson 设备通过 Cosmos-Embed1、Cosmos3-Edge 和 Wan2.2 VAE 对视频片段进行编码并提取检索嵌入与重建潜变量,无需上传原始相机帧。

  7. arXiv · 机器人与计算机视觉83

    KoalaGS:基于复杂度感知的连续层级细节高斯泼溅方法

    该论文提出 KoalaGS 方法,利用输入视图计算的图像复杂度先验来指导高斯泼溅训练中的点云重定位与降级策略。研究发现在低算力预算下,简单区域的高斯数量过多会拖累渲染质量,该方法通过偏置重定向至重建较差区域并平滑过渡层级细节,在三个数据集上实现了更优的渐进式流送效果与结构保持能力。

    推荐理由:该方法利用图像复杂度先验优化高斯泼溅的层级细节,在降低算力预算时保持场景结构并提升低容量下的渲染质量。

  8. arXiv · 机器人与计算机视觉74

    OverSeer:超越智能体视野的多智能体世界模型

    针对多智能体视频世界模型难以保持跨智能体与时空一致性的问题,本文提出 OverSeer 方法,通过引入固定空间的辅助视角作为世界中心表征的代理,并采用 delta-VAE 对冗余静态信息进行高效压缩。实验在 Minecraft、Doom 及真实多相机捕获场景中验证了该方法能显著提升模型的世界与智能体一致性,且计算开销大幅降低。

  9. arXiv · 机器人与计算机视觉82

    物理 AI 用于物流:NVIDIA Sim-to-Real 生态对增强型 COMPASS 导航的基准测试

    该预印本系统评估了 NVIDIA Cosmos 在工业移动机器人导航中的 Sim-to-Real 增益,显示其将成功率从 65.3% 提升至 91.7%,为相关团队提供了可复现的基准数据。

    推荐理由:该预印本系统评估了 NVIDIA Cosmos 在工业移动机器人导航中的 Sim-to-Real 增益,显示其将成功率从 65.3% 提升至 91.7%,为相关团队提供了可复现的基准数据。

  10. arXiv · 机器人与计算机视觉73

    WorldSR:利用世界知识搜索进行基于实体的图像超分辨率

    针对生成先验在超分辨率任务中存在的随机性、与基座模型绑定及易产生幻觉等问题,该研究提出 WorldSR 框架。该方法将输入自动分解为语义实体,并从大规模外部语料库中检索结构化和语义对齐的参考图像作为世界知识,结合记忆机制复用结果及多步过滤流程优化候选参考。

  11. arXiv · 机器人与计算机视觉78

    SplatFlux:基于视频潜变量的前馈式 4D 高斯重建与生成框架

    该论文提出 SplatFlux,这是一个将视频潜变量解码为 4D 高斯(4DGS)的前馈框架,旨在统一处理视频基 4D 重建和条件式 4D 生成。核心观察在于利用预训练视频潜空间表示观测视频与生成内容。

    推荐理由:该工作提出 SplatFlux,利用预训练视频潜空间统一处理重建与生成任务,并通过静态动态解耦策略实现无需标注的 4D 场景构建。

  12. arXiv · 机器人与计算机视觉57

    一种用于视觉在线检测碳纤维 SMC 带沉积的工艺感知逼真数字孪生

    针对片状模塑料(SMC)制造中缺乏大规模准确标注数据集的问题,本文提出了一种工艺感知的逼真数字孪生系统。该系统通过刚体仿真复现沉积运动学,并利用物理基础的偏振渲染模型生成真实外观,从而提供包含定向边界框、点标注、密度图及偏振渲染的精确同步标签。

  13. arXiv · 机器人与计算机视觉35

    Media Intelligence Platform 统一多模态媒体取证框架发布

    Media Intelligence Platform(MIP)是一个基于 Web 的统一框架,集成虚假视频、人脸换脸、AI 生成图像及音频深度伪造等专用检测模块。该平台在代表性基准数据集上验证了跨模态的可靠检测性能,并随 ECCV 2026 研讨会提交公开演示者以支持复现与社区评估。

  14. arXiv · 机器人与计算机视觉58

    ConfigWM:一种支持可配置感知的世界模型方法

    针对现有世界模型编码器无法自适应过滤任务无关信息的痛点,本文提出了 ConfigWM 方法。该方法利用语言描述的任务作为配置信号,引导视觉嵌入映射到特定任务的状态空间,从而选择性保留相关信息并抑制干扰。在动作条件动态学习的基础上,实验表明 ConfigWM 在噪声环境中的规划成功率平均比最强竞争方法高出 22.3%,且在物理量探测和受干扰检索任务中表现稳健。

  15. arXiv · 机器人与计算机视觉72

    枚举引导的神经哈密顿 - 雅可比安全证书训练方法

    针对控制系统的形式化安全保证难题,本文提出一种利用概率枚举检测前向不变性违反的训练框架,生成紧凑的反例集以精确捕捉失效边界。通过微调预训练的 HJ 值函数,该方法扩大了认证区域并缩短了时间。研究还引入了基于改进证书的屏蔽机制,在 Isaac Sim 仿真环境和真实自主赛车实验中均实现了零安全约束违规,证明了其在高速关键场景下的有效性。

  16. arXiv · 机器人与计算机视觉82

    World2HOSI:一种用于长程人机物场景交互生成的多专家编排框架

    论文介绍 World2HOSI 框架,旨在解决长程人机物场景交互(HOSI)任务中单一模型能力不足及高质量数据稀缺的问题。该方法通过构建基于解耦背景与物体资产的持久化三维高斯泼溅(3DGS)场景状态,利用编排器规划动作阶段并调用现有专家模型,同时将动作效果写回以维持世界一致性。

    推荐理由:该工作提出多专家编排架构,利用解耦资产与闭环仿真生成高质量长程人机物场景交互数据。

  17. arXiv · 机器人与计算机视觉38

    HiQGS:基于分层时空查询的前馈高斯重建方法

    HiQGS 提出一种基于分层时空查询的框架,通过分层时空编码器按图像位置、观测时间和相机姿态组织特征,利用时间自适应解码器检索相关证据以预测高斯场景状态。该方法在静态与动态场景重建基准上展现出优异的渲染质量与几何精度,验证了分层视觉编码及目标时刻感知查询的有效性。

  18. arXiv · 机器人与计算机视觉73

    Real In, Real Out:仅用真实数据进行场景文本编辑的研究

    针对场景文本编辑通常依赖合成配对数据的局限,本文提出 TextRIRO 方法,通过裁剪、打乱等扰动将单张真实图像转化为自配对监督数据,在保持风格的同时破坏语义以学习编辑行为。实验显示该方法在真实世界基准上兼具高准确率与视觉真实性,并构建了 TextRIRO-3M 大规模数据集用于提升长文本识别模型性能。代码已开源。

  19. arXiv · 机器人与计算机视觉68

    CityPaint:一种基于 2D 扩散模型的城市级 3D 纹理生成方法

    该论文提出 CityPaint 框架,利用丰富的 2D 图像数据和扩散模型生成全局一致的城市级 3D 纹理,无需依赖稀缺的真实城市级 3D 训练数据。该方法结合了几何先验与 2D 扩散模型的生成能力,引入稳健的 top-K 相机烘焙策略进行迭代纹理投影,并针对 2D 到 3D 投影产生的伪影提出了解耦细化机制,分别优化地形和建筑纹理。

  20. arXiv · 机器人与计算机视觉74

    基于动作影响力最大化的可控世界模型训练方法

    论文指出当前视频生成模型常忽略指令动作,归因于训练数据缺乏足够的动作影响力。作者提出 AIM 算法用于主动收集高影响力的训练数据,在模拟导航和操作任务中验证了其优于探索启发式方法的性能与数据效率。在像素操作领域,该方法仅需 500 集主动采集即可达到 30 万专家演示模型的控制能力,实现 85 倍的数据减少。材料为预印本版本,未提及同行评审状态或具体部署结果。

  21. arXiv · 机器人与计算机视觉53

    BUMP:一种用于 HOI 合成的身体驱动统一多物体物理框架

    arXiv 预印本论文介绍了一种名为 BUMP 的文本驱动框架,旨在解决生成多物体人机交互(HOI)的挑战。该方法首先从文本和场景上下文中生成立体人体运动,然后预测少量被主动操纵物体的轨迹,最后通过物理仿真推导出周围响应物体的运动,从而无需扩展学习到的轨迹输出空间即可处理不同数量和配置的物体。

  22. arXiv · 机器人与计算机视觉65

    SceneP2F:面向检测数据增强的可控多目标插入方法

    论文提出 SceneP2F 两阶段可训练框架,连接场景感知联合规划与布局对齐生成,以支持对类别和数量有保真要求的检测数据集增强。该方法包含分配类标签查询的 ScenePlan 模块及结合几何外观条件、区域注意力与流匹配目标的 SceneAlign-Fill 模块。

  23. Hugging Face Daily Papers82

    Learning the 4D World through Point Trajectory Forecasting

    论文介绍 Video-Point Model (VPM),这是一个基于多视角视频历史和语言指令的世界模型,能够联合预测任意视角的未来视频和场景中持久点的 3D 轨迹。

    推荐理由:该工作提出 Video-Point Model,通过点轨迹监督联合预测多视角视频与 3D 运动,并扩展至机器人控制。

  24. Hugging Face Daily Papers67

    SolarRenderer:一种基于结构的少步生成式参考渲染器

    SolarRenderer 是一种结构条件化的视频渲染器,它通过冻结 MiniMax-H3 33B 骨干网络并添加两个轻量级 LoRA 来工作。该模型利用对齐的结构化视频(如游戏引擎布局、运动或相机参数)作为输入,无需类型标识符即可在骨干网络的帧位置进入原生参考路径。

10月20日周二
  1. arXiv · 机器人与计算机视觉38

    Omni-RS:统一遥感多任务理解与生成的框架

    Omni-RS 提出“场景引导两阶段训练”策略,利用 VAE 编码的视觉条件指导扩散 Transformer 完成图像生成。该框架支持四类理解任务及五类生成任务,并通过构建 UniGen 数据集实现跨任务联合学习。实验表明其在理解与多种生成任务上均取得优异结果,相关代码与数据暂未开放许可。

  2. arXiv · 机器人与计算机视觉82

    LynxScenes:面向户外轮足机器人的大规模现实世界基准数据集与评测套件

    arXiv 预印本介绍 LynxScenes,这是一个基于 LYNX M20 轮足机器人采集的大规模户外现实世界数据集与基准。数据包含约 10 万段 30 秒导航片段(总时长 833.6 小时、里程 3,294.7 公里)及 300 万帧标注,涵盖四路鱼眼相机、双激光雷达、IMU、里程计与机器人状态。

    推荐理由:该基准提供轮足机器人户外导航、感知与世界模型的密集标注数据及评估工具,可帮助研究者验证现有方法在真实场景下的不足。

  3. arXiv · 机器人与计算机视觉49

    Bootstrapping Video Interaction Generation with Synthetic State Transitions 框架发布

    该研究提出利用合成状态转换引导视频交互生成的新框架,通过结构化分类学与图像编辑模型构建可控交互数据集。提出的 State-Guided Sampling (SGS) 采样技术有效缓解了条件生成中的伪影问题,配合自动化评估系统确保数据质量符合人类判断标准。实验表明,在基模型上微调该数据集能显著提升其生成合理物理交互的能力,为机器人及 VR/AR 应用提供关键突破。

  4. arXiv · 机器人与计算机视觉48

    ContraFM-S2O:基于流匹配与对比学习的一步 SAR 转光栅图像翻译模型

    ContraFM-S2O 提出一种基于流匹配的 SAR 到光栅图像翻译模型,通过预测速度场求解 ODE 实现一步生成并引入对比学习提升细节保真度。实验表明该模型在 SAR2Opt 和 QXS 数据集上达到最先进水平,推理延迟显著低于扩散与 GAN 基线且边缘纹理更清晰。代码与论文已公开于 arXiv (arXiv:2609.31378v2)。

  5. arXiv · 机器人与计算机视觉82

    RoboEdit:将人类操作视频转化为可扩展的机器人经验

    针对收集机器人手物交互数据成本高且具身特定的问题,本文提出 RoboEdit 人机视频编辑套件,可将人类操作视频转化为动作一致、物理合理且手部状态对齐的机器人视频。

    推荐理由:提出 RoboEdit 工具链与数据集,将海量人类操作视频转化为物理合理的机器人训练数据。

  6. arXiv · 机器人与计算机视觉68

    FracEvent:基于分数阶弛豫动力学的物理启发式事件相机仿真器

    针对真实事件数据难以大规模采集的问题,本文提出 FracEvent 仿真器,利用紧凑的分数阶弛豫电压动力学模拟像素响应历史与 ON/OFF 事件生成。该方法结合快慢响应模式并保留状态以关联残差响应与后续事件时序。在图像重建和光流估计等下游任务中,FracEvent 相比基于对比度阈值的现有方法取得多项指标领先结果。论文已接受至 WACV 2027。

  7. arXiv · 机器人与计算机视觉43

    GaussianHSI:Voronoi 引导双边高斯泼溅实现任意尺度高光谱图像超分辨率

    GaussianHSI 提出一种基于高斯泼溅的框架,利用 Voronoi 引导选择与参考感知双边加权进行空间重建,并引入光谱细节增强模块提升谱保真度。在基准数据集上的广泛实验表明,该方法在任意尺度高光谱图像超分辨率任务上优于最先进方法。该工作为计算机视觉领域提供了新的任意尺度重建解决方案。

  8. arXiv · 机器人与计算机视觉55

    Adaptive Forensic Feature Refinement via Intrinsic Importance Perception

    针对生成式模型与多模态编辑技术带来的合成图像检测(SID)跨分布泛化难题,现有视觉基础模型方法存在适应策略粗糙或微调破坏预训练结构的问题。本文提出 I2P 框架,将 VFM 适配重构为联合优化问题:自适应识别携带伪造判别信息的关键表征层,并将任务驱动的参数更新约束在低敏感参数子空间内。

  9. arXiv · 机器人与计算机视觉82

    OccSim:首个无需 HD 地图与日志布局的千米级长视界占用世界模型仿真器

    该论文提出 OccSim,这是首个不依赖预记录驾驶日志或 HD 地图等空间先验的 3D 占用世界模型驱动仿真器。系统仅需初始帧和自车动作序列即可稳定生成超过 3000 个连续帧(较此前最先进方法提升 80 倍),并融合成跨度超 9 公里的地图,定性测试甚至可滚动至 11 万帧以上。

    推荐理由:该工作提出首个无需 HD 地图或日志布局的 3D 占用世界模型仿真器,生成长度提升 80 倍并支持超千米范围合成数据。

  10. arXiv · 机器人与计算机视觉33

    Generative Spatiotemporal Data Augmentation:利用视频扩散模型增强低数据场景下的计算机视觉性能

    该方法利用现成视频扩散模型,从图像数据集生成逼真的三维空间与时间变化,以弥补传统几何变换在相机视角和场景动态上的不足。在标注稀缺的无人机(UAV)成像等低数据设置中,引入合成视频片段作为补充训练数据可带来一致的性能提升。研究提供了选择生成架构、迁移标注及解决遮挡区域的具体指南,并在 COCO 子集与 UAV 数据集上验证了其在数据匮乏 regime 下的有效性。