OPIS:一种面向多物体记忆的输入 grounding 视频世界模型基准
针对现有协议依赖生成历史或参考视频导致无法真实评估记忆能力的局限,该研究提出 OPIS 基准,严格锚定初始观测中的固定对象实例进行评测。数据集涵盖现实、具身机器人及游戏世界共 500 个案例,包含 12,672 个刚体、连杆和可变形物体的密集标注。
针对现有协议依赖生成历史或参考视频导致无法真实评估记忆能力的局限,该研究提出 OPIS 基准,严格锚定初始观测中的固定对象实例进行评测。数据集涵盖现实、具身机器人及游戏世界共 500 个案例,包含 12,672 个刚体、连杆和可变形物体的密集标注。
FreeCam 基于冻结的修复扩散框架,利用上下文推理模块与内在外观模块实现无需任务特定训练的伪装图像生成。该方法在保持前景完整性的同时降低感知可分离性,实验证明其达到最先进质量并为伪装目标检测提供合成监督。该研究作为预印本发布于 arXiv,代码与权重开放许可,适用于计算机视觉领域。
论文提出 NeoWorld-Pro 框架,利用多模态大模型的零样本推理与代码合成能力,将单张 RGB 图像转化为指定物体几何、关节及物理属性的可执行程序,并通过物理引擎闭环迭代修正生成结果。实验表明该方法优于开环及现有单目重建方法,支持稳定堆叠等复杂下游任务。材料为 NeurIPS 2026 接收的预印本,未报告真实机器人部署结果。
MASC 提出统一强化学习框架,联合优化金属感知 k 空间采样与伪影校正以解决 MRI 成像难题。该方法构建配对仿真数据集训练 PPO 智能体,在 FastMRI 跨数据集实验中验证了优于传统策略的泛化能力。代码与模型已公开,支持加速 MRI 采集与诊断辅助。
论文提出 AEON 框架,旨在弥合基于视频生成模型(如 Sora)缺乏 3D 一致性与基于 3D 生成模型(如 Marble)缺乏真实感之间的差距。该框架在文本或图像条件的视频潜在空间内运行,生成可渲染的 4D 图形原语——具体为 4D Gaussian Splatting (4DGS) 作为显式世界表示。
推荐理由:提出 AEON 框架统一视频与 3D 世界模型,通过 4DGS 显式表示实现几何一致性与真实外观的兼顾。
论文介绍 IndustrialReMEmbR 系统,旨在解决仓库机器人车队在保留观测语义记忆时的高计算、通信和存储成本问题。该系统将 NVIDIA ReMEmbR 架构扩展至车队场景,利用端侧 NVIDIA Jetson 设备通过 Cosmos-Embed1、Cosmos3-Edge 和 Wan2.2 VAE 对视频片段进行编码并提取检索嵌入与重建潜变量,无需上传原始相机帧。
该论文提出 KoalaGS 方法,利用输入视图计算的图像复杂度先验来指导高斯泼溅训练中的点云重定位与降级策略。研究发现在低算力预算下,简单区域的高斯数量过多会拖累渲染质量,该方法通过偏置重定向至重建较差区域并平滑过渡层级细节,在三个数据集上实现了更优的渐进式流送效果与结构保持能力。
推荐理由:该方法利用图像复杂度先验优化高斯泼溅的层级细节,在降低算力预算时保持场景结构并提升低容量下的渲染质量。
针对多智能体视频世界模型难以保持跨智能体与时空一致性的问题,本文提出 OverSeer 方法,通过引入固定空间的辅助视角作为世界中心表征的代理,并采用 delta-VAE 对冗余静态信息进行高效压缩。实验在 Minecraft、Doom 及真实多相机捕获场景中验证了该方法能显著提升模型的世界与智能体一致性,且计算开销大幅降低。
MARE(Modular Autonomy and Rendering Environment)是一个基于 Unreal Engine 5 和 ROS 2 的开源仿真套件,专为月球车在极端光照条件下的感知与自主导航设计。
该预印本系统评估了 NVIDIA Cosmos 在工业移动机器人导航中的 Sim-to-Real 增益,显示其将成功率从 65.3% 提升至 91.7%,为相关团队提供了可复现的基准数据。
推荐理由:该预印本系统评估了 NVIDIA Cosmos 在工业移动机器人导航中的 Sim-to-Real 增益,显示其将成功率从 65.3% 提升至 91.7%,为相关团队提供了可复现的基准数据。
针对生成先验在超分辨率任务中存在的随机性、与基座模型绑定及易产生幻觉等问题,该研究提出 WorldSR 框架。该方法将输入自动分解为语义实体,并从大规模外部语料库中检索结构化和语义对齐的参考图像作为世界知识,结合记忆机制复用结果及多步过滤流程优化候选参考。
该论文提出 SplatFlux,这是一个将视频潜变量解码为 4D 高斯(4DGS)的前馈框架,旨在统一处理视频基 4D 重建和条件式 4D 生成。核心观察在于利用预训练视频潜空间表示观测视频与生成内容。
推荐理由:该工作提出 SplatFlux,利用预训练视频潜空间统一处理重建与生成任务,并通过静态动态解耦策略实现无需标注的 4D 场景构建。
针对 YOLO 框架在异构文档场景下的适配不足问题,本文提出 DocLayout-YOLO 实时检测器。数据方面,引入 MeshLayout-1M 合成预训练语料库;模型方面,设计 Page-Axis Layout Attention (PALA) 以捕捉页轴长程依赖。
针对片状模塑料(SMC)制造中缺乏大规模准确标注数据集的问题,本文提出了一种工艺感知的逼真数字孪生系统。该系统通过刚体仿真复现沉积运动学,并利用物理基础的偏振渲染模型生成真实外观,从而提供包含定向边界框、点标注、密度图及偏振渲染的精确同步标签。
Media Intelligence Platform(MIP)是一个基于 Web 的统一框架,集成虚假视频、人脸换脸、AI 生成图像及音频深度伪造等专用检测模块。该平台在代表性基准数据集上验证了跨模态的可靠检测性能,并随 ECCV 2026 研讨会提交公开演示者以支持复现与社区评估。
针对现有世界模型编码器无法自适应过滤任务无关信息的痛点,本文提出了 ConfigWM 方法。该方法利用语言描述的任务作为配置信号,引导视觉嵌入映射到特定任务的状态空间,从而选择性保留相关信息并抑制干扰。在动作条件动态学习的基础上,实验表明 ConfigWM 在噪声环境中的规划成功率平均比最强竞争方法高出 22.3%,且在物理量探测和受干扰检索任务中表现稳健。
针对控制系统的形式化安全保证难题,本文提出一种利用概率枚举检测前向不变性违反的训练框架,生成紧凑的反例集以精确捕捉失效边界。通过微调预训练的 HJ 值函数,该方法扩大了认证区域并缩短了时间。研究还引入了基于改进证书的屏蔽机制,在 Isaac Sim 仿真环境和真实自主赛车实验中均实现了零安全约束违规,证明了其在高速关键场景下的有效性。
论文介绍 World2HOSI 框架,旨在解决长程人机物场景交互(HOSI)任务中单一模型能力不足及高质量数据稀缺的问题。该方法通过构建基于解耦背景与物体资产的持久化三维高斯泼溅(3DGS)场景状态,利用编排器规划动作阶段并调用现有专家模型,同时将动作效果写回以维持世界一致性。
推荐理由:该工作提出多专家编排架构,利用解耦资产与闭环仿真生成高质量长程人机物场景交互数据。
论文提出 RLSplat 框架,解决现有前馈 3D 高斯泼溅(FF3DGS)方法在调整高斯数量时推理成本不随预算降低的问题。该方法通过学习高斯分配策略与资源线性解码机制,使表示大小、推理延迟和显存峰值均随预算减少而线性下降。
HiQGS 提出一种基于分层时空查询的框架,通过分层时空编码器按图像位置、观测时间和相机姿态组织特征,利用时间自适应解码器检索相关证据以预测高斯场景状态。该方法在静态与动态场景重建基准上展现出优异的渲染质量与几何精度,验证了分层视觉编码及目标时刻感知查询的有效性。
针对场景文本编辑通常依赖合成配对数据的局限,本文提出 TextRIRO 方法,通过裁剪、打乱等扰动将单张真实图像转化为自配对监督数据,在保持风格的同时破坏语义以学习编辑行为。实验显示该方法在真实世界基准上兼具高准确率与视觉真实性,并构建了 TextRIRO-3M 大规模数据集用于提升长文本识别模型性能。代码已开源。
该论文提出 CityPaint 框架,利用丰富的 2D 图像数据和扩散模型生成全局一致的城市级 3D 纹理,无需依赖稀缺的真实城市级 3D 训练数据。该方法结合了几何先验与 2D 扩散模型的生成能力,引入稳健的 top-K 相机烘焙策略进行迭代纹理投影,并针对 2D 到 3D 投影产生的伪影提出了解耦细化机制,分别优化地形和建筑纹理。
该研究针对现有深度学习标定方法因训练数据外参单一而导致的过拟合与泛化差问题,提出 SynCalib 框架。该方法利用标注有深度真值的全景图像数据集,在严格的外参约束下合成多模态标定数据。
论文指出当前视频生成模型常忽略指令动作,归因于训练数据缺乏足够的动作影响力。作者提出 AIM 算法用于主动收集高影响力的训练数据,在模拟导航和操作任务中验证了其优于探索启发式方法的性能与数据效率。在像素操作领域,该方法仅需 500 集主动采集即可达到 30 万专家演示模型的控制能力,实现 85 倍的数据减少。材料为预印本版本,未提及同行评审状态或具体部署结果。
arXiv 预印本论文介绍了一种名为 BUMP 的文本驱动框架,旨在解决生成多物体人机交互(HOI)的挑战。该方法首先从文本和场景上下文中生成立体人体运动,然后预测少量被主动操纵物体的轨迹,最后通过物理仿真推导出周围响应物体的运动,从而无需扩展学习到的轨迹输出空间即可处理不同数量和配置的物体。
论文提出 SceneP2F 两阶段可训练框架,连接场景感知联合规划与布局对齐生成,以支持对类别和数量有保真要求的检测数据集增强。该方法包含分配类标签查询的 ScenePlan 模块及结合几何外观条件、区域注意力与流匹配目标的 SceneAlign-Fill 模块。
论文介绍 Video-Point Model (VPM),这是一个基于多视角视频历史和语言指令的世界模型,能够联合预测任意视角的未来视频和场景中持久点的 3D 轨迹。
推荐理由:该工作提出 Video-Point Model,通过点轨迹监督联合预测多视角视频与 3D 运动,并扩展至机器人控制。
SolarRenderer 是一种结构条件化的视频渲染器,它通过冻结 MiniMax-H3 33B 骨干网络并添加两个轻量级 LoRA 来工作。该模型利用对齐的结构化视频(如游戏引擎布局、运动或相机参数)作为输入,无需类型标识符即可在骨干网络的帧位置进入原生参考路径。
Omni-RS 提出“场景引导两阶段训练”策略,利用 VAE 编码的视觉条件指导扩散 Transformer 完成图像生成。该框架支持四类理解任务及五类生成任务,并通过构建 UniGen 数据集实现跨任务联合学习。实验表明其在理解与多种生成任务上均取得优异结果,相关代码与数据暂未开放许可。
arXiv 预印本介绍 LynxScenes,这是一个基于 LYNX M20 轮足机器人采集的大规模户外现实世界数据集与基准。数据包含约 10 万段 30 秒导航片段(总时长 833.6 小时、里程 3,294.7 公里)及 300 万帧标注,涵盖四路鱼眼相机、双激光雷达、IMU、里程计与机器人状态。
推荐理由:该基准提供轮足机器人户外导航、感知与世界模型的密集标注数据及评估工具,可帮助研究者验证现有方法在真实场景下的不足。
该研究提出利用合成状态转换引导视频交互生成的新框架,通过结构化分类学与图像编辑模型构建可控交互数据集。提出的 State-Guided Sampling (SGS) 采样技术有效缓解了条件生成中的伪影问题,配合自动化评估系统确保数据质量符合人类判断标准。实验表明,在基模型上微调该数据集能显著提升其生成合理物理交互的能力,为机器人及 VR/AR 应用提供关键突破。
ContraFM-S2O 提出一种基于流匹配的 SAR 到光栅图像翻译模型,通过预测速度场求解 ODE 实现一步生成并引入对比学习提升细节保真度。实验表明该模型在 SAR2Opt 和 QXS 数据集上达到最先进水平,推理延迟显著低于扩散与 GAN 基线且边缘纹理更清晰。代码与论文已公开于 arXiv (arXiv:2609.31378v2)。
针对收集机器人手物交互数据成本高且具身特定的问题,本文提出 RoboEdit 人机视频编辑套件,可将人类操作视频转化为动作一致、物理合理且手部状态对齐的机器人视频。
推荐理由:提出 RoboEdit 工具链与数据集,将海量人类操作视频转化为物理合理的机器人训练数据。
针对真实事件数据难以大规模采集的问题,本文提出 FracEvent 仿真器,利用紧凑的分数阶弛豫电压动力学模拟像素响应历史与 ON/OFF 事件生成。该方法结合快慢响应模式并保留状态以关联残差响应与后续事件时序。在图像重建和光流估计等下游任务中,FracEvent 相比基于对比度阈值的现有方法取得多项指标领先结果。论文已接受至 WACV 2027。
GaussianHSI 提出一种基于高斯泼溅的框架,利用 Voronoi 引导选择与参考感知双边加权进行空间重建,并引入光谱细节增强模块提升谱保真度。在基准数据集上的广泛实验表明,该方法在任意尺度高光谱图像超分辨率任务上优于最先进方法。该工作为计算机视觉领域提供了新的任意尺度重建解决方案。
针对生成式模型与多模态编辑技术带来的合成图像检测(SID)跨分布泛化难题,现有视觉基础模型方法存在适应策略粗糙或微调破坏预训练结构的问题。本文提出 I2P 框架,将 VFM 适配重构为联合优化问题:自适应识别携带伪造判别信息的关键表征层,并将任务驱动的参数更新约束在低敏感参数子空间内。
该论文提出 OccSim,这是首个不依赖预记录驾驶日志或 HD 地图等空间先验的 3D 占用世界模型驱动仿真器。系统仅需初始帧和自车动作序列即可稳定生成超过 3000 个连续帧(较此前最先进方法提升 80 倍),并融合成跨度超 9 公里的地图,定性测试甚至可滚动至 11 万帧以上。
推荐理由:该工作提出首个无需 HD 地图或日志布局的 3D 占用世界模型仿真器,生成长度提升 80 倍并支持超千米范围合成数据。
论文提出 Scene2Demo 自动化离线具身数据生成框架,输入单张 RGB 图像和用户查询即可构建交互式仿真场景并生成可执行任务配置、原语动作流及多视角视频。
该方法利用现成视频扩散模型,从图像数据集生成逼真的三维空间与时间变化,以弥补传统几何变换在相机视角和场景动态上的不足。在标注稀缺的无人机(UAV)成像等低数据设置中,引入合成视频片段作为补充训练数据可带来一致的性能提升。研究提供了选择生成架构、迁移标注及解决遮挡区域的具体指南,并在 COCO 子集与 UAV 数据集上验证了其在数据匮乏 regime 下的有效性。
针对复杂非凸物体的碰撞检测瓶颈,本文提出了 ML-IST 方法,将内球树的叶节点生成重构为基于多通道体素几何的单步集合预测问题,并通过可微覆盖反馈修正残差及轻量级几何投影确保有效性。