LSD-3D:基于几何约束的大规模 3D 驾驶场景生成方法
论文 LSD-3D 提出一种直接生成大规模 3D 驾驶场景的方法,旨在弥合神经重建与扩散模型在几何约束上的差距。该方法结合代理几何与环境表示的生成及从学习到的 2D 图像先验进行的分数蒸馏,实现了高可控性、提示引导的几何控制以及基于地图布局的高保真纹理和结构条件化,能够产生具有物体恒常性和显式 3D 几何估计的真实且几何一致的复杂驾驶场景。
论文 LSD-3D 提出一种直接生成大规模 3D 驾驶场景的方法,旨在弥合神经重建与扩散模型在几何约束上的差距。该方法结合代理几何与环境表示的生成及从学习到的 2D 图像先验进行的分数蒸馏,实现了高可控性、提示引导的几何控制以及基于地图布局的高保真纹理和结构条件化,能够产生具有物体恒常性和显式 3D 几何估计的真实且几何一致的复杂驾驶场景。
针对自动驾驶领域需重新训练才能适配新驾驶目标的限制,本文提出 GuidedWAM 框架,在采样阶段通过可微分能量机制向冻结的世界动作模型注入新的驾驶目标。该方法利用采样时的引导调度、每能量归一化及速度有界修正来稳定生成过程。
EDGAR 是一种条件扩散框架,旨在修正高斯头像重建中的模糊、拉伸等伪影并保持身份保真度。该方法构建混合数据集 EDGAR-SET,利用自监督 Sapiens 模型提取特征注入一步扩散骨干网络,并采用专家混合架构处理不同退化类型。实验显示其在感知和重建指标上优于原始输出及基线方法,且具备跨视角一致性和极端姿态鲁棒性。代码已开源。
推荐理由:该工作提出利用合成失败案例训练扩散模型以修复高斯头像重建中的伪影,代码已开源。
MOMASPLAT 通过结合 3D Gaussian Splatting、前馈 3D 基础模型与基于运动学的动作重定向,解决了移动操作中因导航不确定性导致基座位姿变化而引发的视觉 - 运动策略失效问题。
VisionSIM 是一个统一的、基于物理的多模态仿真平台,旨在解决现有仿真器对新兴传感器(如事件相机、SPAD、iToF/dToF 和热成像)过度理想化的问题。
USB Gym 是一个基于公开患者 CT 构建的超声图像匹配测试床,其标准引擎利用网络从 CT 标签绘制器官纹理以模拟超声。该测试床包含可替换的三个部分(器官分割器、控制器和奖励函数),在六个预留患者的 60 个回合中评估了 20 种已发表方法,最终确定仅使用图像相似度奖励(SSIM)的组合作为基准线。
针对毫米波雷达数据集匮乏及仿真到现实差距问题,研究提出基于物理的可微渲染器 4D Point Splatting(4DPS),利用同步相机初始化场景并输出原始复数回波以适配下游模型。
该论文提出分层增量 Beta Splatting(HIBS)方法,将 Beta 核引入在线 3D Gaussian Splatting 以解决初始化差和细节缺失问题。利用几何可观测性和多视角深度一致性进行置信度感知生成,结合误差驱动的重新定位与 LOD 层级优化,在 Mip-NeRF 360 协议下提升 PSNR 最高 0.8 dB 并减少优化时间最多 40%。论文已接受至 WACV 2027。
推荐理由:提出分层增量 Beta Splatting 方法,在在线重建任务中提升 PSNR 并缩短优化时间。
作者提出交互式视觉健身房框架,旨在对支持持续物理任务的视觉交互模型进行闭环评估与训练。该框架联合仿真可执行任务环境与人类用户,贡献了烹饪、家庭操作和移动界面领域的三个模拟器及人物条件化用户模拟工具,并包含 315 个交互场景的基准测试。
Anas Shrinah 等人提出一种感知几何对称性的代理辅助测试方法,通过变换障碍物配置至共享规范坐标系,使在单一参考任务上训练的神经网络代理能复用于任意任务,从而减少高保真仿真数据需求。
该论文提出 WAM-Sim 模型,旨在解决自回归驾驶世界模型在长 rollout 中出现的结构漂移、身份漂移和质量衰减问题。该方法通过持久分层记忆(包含姿态对齐的结构 token、只读场景 token 和一次性实例 token)来维持跨时间尺度的上下文一致性,并利用在线流匹配强化学习优化自生成的 rollouts。
针对全景视频深度估计面临的大规模数据稀缺及等距圆柱投影(ERP)特有的时空挑战,本文提出 PVDepth 端到端框架与 PanoCARLA 大规模合成 RGB-D 数据集。该方法通过渐进式球面感知噪声初始化策略和立方体校正时序建模模块,有效缓解几何失真与非线性动态问题,生成几何准确且时序一致的深度序列。代码与数据将在指定链接发布。
针对现有方法仅关注雨痕而忽略反射与水洼等关键物理效应的不足,该研究提出 CascadeRS 框架,利用深度和分割先验通过物理启发的零样本生成管线,渲染出包含雨痕、反射及水洼的逼真城市雨天场景。作者构建了 Cityscapes-CascadeRS 数据集以评估下游任务在真实雨天条件下的性能,并通过用户研究与定量指标验证了其在感知真实性与鲁棒性上的优势。代码与数据已开源。
推荐理由:该工作提出 CascadeRS 框架,利用深度与分割先验生成含雨痕、反射与水洼的逼真雨天场景,并开源 Cityscapes-CascadeRS 数据集以评估恶劣天气下的视觉鲁棒性。
论文介绍 FisherDistill 方法,利用冻结教师网络的中间表示估计真实与生成样本的一阶和二阶统计量,推导最大化分离特征分布的闭式解方向。该方法作为轻量级修正信号补充原有蒸馏目标,无需引入对抗判别器或其优化循环。实验表明,在多种蒸馏框架下,该方法能一致提升生成质量并显著缩小与对抗精炼版本的差距。
Tail-SD 提出一种支持文本、布局或混合输入的布局指令条件稳定扩散框架,利用多任务交叉注意力模块实现从框、掩码及提示词的可控合成以覆盖长尾物体。在 COCO 和 LVIS 数据集上的实验表明,该混合条件扩散合成使 LVIS 验证集稀有类别的 Box/Mask AP 分别提升 4.89% 和 5.68%,有效改善了长尾性能瓶颈。
针对自动驾驶多视角系统需合成统一宽视域的需求,本文提出 Wide-View Gaussian Splatting (WV-GS) 框架。该方法无需逐场景优化,通过 Piecewise Perspective Rendering (PPR) 缓解边缘拉伸,利用 Spatial Affine Photometric Modeling (SAPM) 处理相机依赖的光度变化。
上海 AI 实验室发布科学多模态框架书生·元征(Sage SciPerception),引入递归式自我改进模式,让模型能自主分析任务表现并提出新的投影模块方案以优化感知架构。
推荐理由:上海 AI 实验室推出支持递归式自我改进模式的科学多模态框架,赋予大模型自主优化感知架构能力。
论文介绍 SIRIS 框架,通过扰动仿真器构建具有相同候选方案但预测结果不同的工作负载对,测试大模型是否能识别仿真限制并据此做出正确选择。实验评估了十三款前沿 LLM 在系统设计问题上的表现,发现仅凭识别限制并不保证选择正确,且强模型有时会放弃有效推荐;自我修正虽能恢复部分选择但也引入新错误。
推荐理由:该预印本通过扰动实验发现,前沿大模型在依赖有缺陷的仿真器时难以识别错误并坚持有效推荐,揭示了系统理解评估的新挑战。
TurtLES 是一个包含 400 条轨迹、每条 400 个时间步的 14 TB 数据集,涵盖几何、雷诺数及攻角变化。该基准通过高保真隐式大涡模拟生成具有活跃能量级联和密集不规则网格的数据,用于评估神经算子在自回归推演中的表现。研究识别了时序不稳定和小尺度能量丢失等关键失效模式,为工业相关网格分辨率下的湍流尾迹代理模型提供了新标准。
Video-Coder 是首个训练代码驱动的视频生成智能体的尝试,能够自主编写和执行代码来构建动态 3D 场景以提供结构与运动信号。研究设计了专用数据管道和两个高质量数据集(Video-Coder-SFT-6k、Video-Coder-RL-2k),并开发了集成代码执行与 3D 渲染的统一交互环境 Video-Coder Harness。
针对单无人艇感知受视距、视野和遮挡限制的问题,作者构建了基于 Unreal Engine 5 和 Project AirSim 的海洋仿真与数据生成平台 MMUSV-Sim。
针对归档胶片修复缺乏成对训练数据和标准化评估基准的挑战,该研究提出了 AbsoluteDegradation 框架。其核心包含一个物理启发的模块化合成流水线,将模拟到数字过程建模为信号相关颗粒、参数化划痕和时序相干相机运动的组合;同时发布了一个由 81,576 帧高分辨率真实归档素材组成的基准数据集。
论文提出了 EvoWorld 模型,旨在弥合全景视频生成与演化 3D 记忆之间的差距,以实现空间一致的长视界探索。该方法以单张全景图为输入,先生成未来视频帧,再利用前馈即插即用 Transformer 演化场景的三维重建,最后基于该显式 3D 记忆的几何重投影合成未来内容。
EgoGen 是一种新的合成数据生成器,旨在解决第一人称视角(egocentric)感知任务中模拟自然人类运动以获取真实 3D 世界表征的挑战。该模型利用虚拟人物的第一人称视觉输入直接感知环境,结合避障动作基元和两阶段强化学习实现感知与运动的闭环耦合,无需预定义全局路径且适用于动态环境。
该论文提出了 HALO 系统,利用程序化生成的千个虚拟家庭合成视觉 - 语言 - 动作数据以解决人形机器人训练的数据瓶颈。HALO 习得了坐椅子、导航至命名物体、侧身过门等技能,并能编排这些技能完成复合长周期任务。系统在从未见过真实家居的训练下实现零样本迁移,在六个未建图的真实环境中进行了 360 次试验,成功率为 91%。代码与视频已公开。
推荐理由:HALO 系统通过程序化生成合成数据实现零样本迁移,在六个未建图真实环境中达到 91% 成功率。
针对 JEPA 风格世界模型中静态背景干扰导致规划失败的问题,作者提出运动引导对比正则化方法。该方法利用光流相似度构建软对比目标,结合潜在预测与 SIGReg,鼓励表征保留同一集内的状态区分度并抑制静态内容影响。在 OGBench-Cube 随机化背景下,规划成功率从 52% 提升至 78%,LIBERO-Object 任务从 14% 提升至 54%,并在四个其他视觉控制基准上保持相当性能。
论文指出当前扩散模型缺乏维持世界状态和进行事件后果推理的机制,提出 Out-of-Sight Causal Evolution 新任务。作者构建了 EvoWorld 框架,利用视觉语言模型作为“世界大脑”维护演化账户并推理状态转换,配合分段自回归渲染器实现视觉呈现。
Trick-or-Treat 框架利用合成临床照片与真实胸部 X 光片配对,构建暴露前沿模型跨模态推理幻觉的对抗性基准。在三项前沿模型的测试中,面对不匹配图像对时,模型产生显著临床意义的照片幻觉比例从单独展示时的 25-37.5% 升至 45-57.5%,且倾向于忽略错位而根据 X 光片特征误诊。
论文提出了 BudgetSplat,这是一种前馈式的 3D Gaussian Splatting 框架,旨在解决现有像素对齐方法生成冗余高斯基元导致存储和渲染成本随分辨率与视图数急剧增长的问题。
FOSCo-Net 利用时间累积观测作为自动监督,在单次扫描下重建温带森林中被树干遮挡的几何结构。该框架采用门控跳跃解码器显著降低误报障碍物预测,相比基线提升重建质量与通行安全性。论文已接受于 2026 年日本冲绳举办的 ACIVS 会议展示。
该论文提出 Typed Spatial Markdown(TSM)作为桌面网页界面的文本状态表示,能够联合编码 UI 布局、语义及显式位置。作者构建了 AtomBlock-WebUI 数据集以训练截图到 TSM 的渲染器,并在此基础上开发了 MKD2World 世界模型。
针对前馈式 3D Gaussian Splatting(3D-GS)难以扩展至长多视图序列的问题,本文提出无需重训练的 CrossPressor 方法。该方法通过覆盖循环证据路由机制,在保留所有解码器锚点查询的同时约束视图增长的支持序列,将空间证据分布到支持视图与融合层中。
RouTex 是一种基于上下文扩散 Transformer(DiT)的多参考三维纹理生成框架,利用位置路由(PR)和双粒度注意力机制解决未观测区域表面歧义。实验表明该方法在无需引入额外参数的情况下实现了新的最先进性能。该研究论文已提交至 arXiv,属于计算机视觉领域的预印本。
TouchéWorld 是一个将手势驱动交互整合进相机控制视频世界模型的框架。给定初始图像和场景描述提示词,该模型基于时间对齐的相机和手部控制生成视频。研究团队通过标注补全、一致性过滤和时间对齐构建了异构第一人称视频的联合相机与手部训练数据,并在预训练的相机控制世界模型基础上,结合空间手部骨架条件与数值手部运动特征进行参数高效适配。
推荐理由:该报告提出 TouchéWorld 框架,将手势驱动交互整合进相机控制的视频世界模型中。
该论文针对成像逆问题中的流匹配生成后验采样提出 FLINT 框架。现有方法将轨迹空间优化与源空间初始化视为独立设计,而本文证明二者存在内在耦合并推导了统一稳定性界限。FLINT 通过两步法实现:首先利用流形约束的邻近目标函数在少量迭代内建立高保真起点,随后在受限随机性调度下执行引导采样以防止优势被噪声侵蚀。实验显示该方法在多种逆问题中实现了感知质量的最优和计算效率的优越性。
推荐理由:FLINT 提出将初始化邻近性与采样随机性耦合的新框架,在保持高保真起点的同时通过受限噪声注入提升逆问题求解效率。
针对现有全景锐化模型在未见传感器上泛化能力不足的问题,本文提出 ReTailor 框架。该方法仅通过轻量级残差模块在自监督、物理感知约束下快速优化,修正跨传感器差异而不修改已学习的主网络融合先验。
针对稀疏海洋观测场景,研究提出一种多机器人闭环自适应采样框架,利用单一学习到的生成式海洋模型完成预报、不确定性估计、规划及数据同化。该方法在潜在空间构建集合预报并解码至物理状态,结合可达性约束选择采样点,实验表明其 A-或 D-最优策略优于静态与随机基线,同时揭示了模型不确定性与预报误差的偏差问题。
推荐理由:提出闭环自适应采样框架,利用生成式海洋模型进行预测与不确定性估计,多机器人策略优于静态基线。
论文提出了 TRUST-Stereo 方法,通过不确定性引导残差搜索模块(UGRSM)修正粗到细立体匹配中的误差传播问题,并引入两阶段师生知识蒸馏策略将大基础模型的单目表征迁移至轻量骨干网络。
针对当前智能体难以完成长周期专业工作流的瓶颈,该研究提出 Agent-R^2 框架,利用真实职业种子、语料库衍生的工作流证据及网络真实文件进行数据合成。
百度正式披露全新世界模型ApolloWorld,利用AI构建持续变化的虚拟交通环境,支持多智能体交互与完整行程级别的实时推演。该系统已应用于萝卜快跑的全球化测试验证,宣称其虚拟路测效率相当于一辆配备安全员的真实测试车连续行驶三年。
推荐理由:百度披露ApolloWorld世界模型,支持实时推演完整Robotaxi行程,宣称虚拟路测效率可达真实测试的三倍。