AnyGameRenderer:跨游戏的实体一致生成式渲染与实体级基准
针对 AI 编程代理生成的简易游戏画面缺乏细节的问题,本文提出 AnyGameRenderer,这是一个将低质量游戏视频转化为高质量视觉内容的视频到视频生成模型。
针对 AI 编程代理生成的简易游戏画面缺乏细节的问题,本文提出 AnyGameRenderer,这是一个将低质量游戏视频转化为高质量视觉内容的视频到视频生成模型。
针对真实机器人数据稀缺的问题,本文研究如何利用廉价且程序化生成的合成数据为具身智能模型提供有效先验。作者构建了三种模拟机器人控制数学抽象的数据生成管道,将其作为 Transformer 的预训练先验。
Pos4CHD 提出了一种仅利用正常样本即可生成高质量伪阳性数据的无监督框架,解决了胎儿先心病数据稀缺难题。该方法在自建数据集上实现了 -12.97 FID 和 +3.96% DSC 的图像质量指标,并在零样本分类任务中分别达到 EbA 93.25% ACC 与 TAPVC 72.92% ACC。代码与模型已开源至 GitHub,相关论文正提交至 IEEE TMI 审稿中。
该论文提出 LAST-V2X 框架,利用大语言模型将自然语言测试描述转化为基于道路几何、V2X 通信语义和车辆行为的可执行场景。框架集成物理交通仿真与空间感知通信建模,通过消息级故障注入评估信息退化对车辆决策的影响,并采用匹配执行区分通信诱导故障与非相关安全违规。实验在多种 CARLA 环境中进行,展示了该框架生成可靠场景、提升故障发现能力以及通过自适应细化优化测试配置的效果。
论文提出将伪影检测重构为包含检查规划、证据验证和证据聚合三个互补能力的结构化流程,并引入人工锚点监督训练框架 Verus-Insight 及细粒度评测基准 Verus-Bench。实验表明该方法在细粒度伪影分析与 AI 生成视频检测上表现优异,能更可靠地将相关检查目标转化为支持的伪影证据,同时减少虚假指控。材料为预印本版本,未提及同行评审状态或具体部署结果。
论文介绍 DeXplicit,一种灵巧操作世界模型,它在渲染视觉后果前先预测度量 3D 空间内的物体运动和形变。该方法将动作条件动力学、相机运动与视觉合成解耦,利用轻量级 3D 动力学网络提供结构化未来状态作为视频生成的强支架。
论文介绍 FilmFlow,这是一个将自然语言指令或参考视频转换为动态三维环境中明确相机轨迹的智能体框架。系统由导演智能体主导,协同解释器、侦察员和评论家三个专用智能体,通过组合原子操作控制平移、旋转和构图。
推荐理由:该工作提出 FilmFlow 智能体框架,将自然语言或参考视频转化为可执行的三维相机轨迹,并在 CinemaBench 基准上表现最优。
该论文提出 ParaLin++,这是一种步数平行的采样器,旨在保留全步离散化同时加速求解器迭代。研究指出,传统免训练少步采样方法在语义组合、密集指令和长文本渲染基准上存在质量下降风险,而平行采样是例外。
推荐理由:该工作提出 ParaLin++,在保留全步离散化同时加速求解器迭代,实验显示其在 Stable Diffusion-v2 等模型上可将采样速度提升 1.68 至 4.8 倍且保持质量。
论文提出了 AgentDreamer,这是一个由智能体引导的优化框架,旨在通过显式的三维运动规划将文本指令与仿真运动对齐。给定文本指令和场景几何,现成的智能体将其转化为结构化语义运动先验(指定移动对象、方向及时间顺序),并用参数化函数表示以生成密集三维轨迹。
推荐理由:提出 AgentDreamer 框架,利用智能体生成语义运动先验并优化可微 MPM 模拟器以对齐文本指令与物理可行运动。
SplatLab 是一个针对 3D Gaussian Splatting 领域的自主研究系统,解决了现有系统在模板限制和可执行性上的不足。该系统能根据提示或论文链接复现基线、提出扩展方案并在 Mip-NeRF 360 等数据集上训练消融实验,同时将手稿中的每个数据点绑定到具体的日志运行记录。
推荐理由:该系统实现了端到端的自主科研闭环,能复现基线、提出扩展并绑定实验数据生成手稿。
NVIDIA 扩展了 Cosmos 平台,推出新的训练工具、仿真检查点和 Cosmos Data Factory 蓝图,帮助开发者快速构建用于理解与模拟现实世界的世界模型。
推荐理由:NVIDIA Cosmos 平台新增数据工厂蓝图与训练工具,支持多模态合成数据生成及开源模型适配,旨在加速物理 AI 系统的开发与部署。
针对现有方法难以跟随结合旋转、平移和半径变化的大角度相机轨迹并导致几何失真的问题,该工作提出 WorldCast 框架与 CLACT 基准。WorldCast 通过将初始帧反投影至三维点云并与目标轨迹对齐来提供显式几何引导,同时利用 Geometry-Aligned Memory Attention 机制在统一坐标系下检索注入角色特征以维持身份一致性。
推荐理由:该工作提出 WorldCast 框架与 CLACT 基准,解决大角度相机运动下的角色几何一致性问题。
AxonSynth 是一个无需手动标注真实训练体积即可训练三维轴突分割模型的域随机化合成数据框架。该框架生成具有方向先验的合成轴突标签,并通过随机化的密度、对比度、偏置场、模糊和噪声进行渲染。
Iterative Gaussian Synopsis 提出一种针对 3D Gaussian Splatting 的自顶向下“展开”框架,利用自适应可学习掩码剪枝构建多级层次结构以消除冗余。该方法结合分层空间网格与共享锚点代码本,在带宽和内存受限场景下实现了高效的渐进式渲染与显著存储压缩。实验表明该方案在所有细节层级均维持高渲染质量,具备实用性与可扩展性。
针对机器视觉中缺陷分布强类别不平衡及存储限制引发的潜在标签偏移问题,该研究提出一种基于两个开源数据集的合成协议。实验对比了随机采样、熵基选择、核心集选择及 Galaxy Sampling 四种策略,证实即便在高度不平衡数据下,后三者仍优于随机采样并量化了标签偏移导致的效率损失。
AutoExpert 是一项研究,旨在解决依赖普通人工标注的局限性,提出利用公开基础模型自动完成 3D LiDAR 数据标注的方法。该方法遵循 nuScenes 和 PandaSet 两个自动驾驶数据集的专家指南,通过 2D 检测、升维及生成 3D 立方体的流水线,将 AutoExpert-nuScenes 基准上的 3D 检测 mAP 从 12.1 提升至 25.4。
PCLA-Bridge 是一个无需活跃 CARLA 服务器即可运行未修改 CARLA Leaderboard 智能体的工具,支持从任意传感器源到任意控制目标的部署。
推荐理由:PCLA-Bridge 框架允许在不修改 CARLA Leaderboard 模型的情况下,将其跨域部署到 MetaDrive、AWSIM 等仿真引擎及真实数据流中。
论文提出 CADRE,这是一个开放的因果扩散表示自编码器家族,旨在解决现有视频世界模型复用文本生成模型且无法针对代理等待时间进行压缩优化的问题。该系列通过冻结特征瓶颈和蒸馏解码器,在操作(manipulation)与导航(navigation)两个领域的四个环境中训练,探索了不同时空压缩策略对延迟 - 质量前沿的影响。
针对现有世界模型在观测中难以捕捉物体质量分布、关节阻尼等物理属性导致预测回归经验先验的问题,本文提出 PhysiCalWorld 方法。该方法通过端到端训练,将测试场景内的探索性交互片段编码为紧凑的物理描述符 token,无需微调或解析物理建模即可校准动作条件化的世界模型以适配实例特定动力学。
推荐理由:提出无需微调的上下文物理校准方法,通过探索性交互片段生成紧凑描述符以修正世界模型的物理漂移。
论文提出 RealMe 框架,利用高分辨率视频扩散模型将稀疏、低分辨率的采集资源增强为 2K 分辨率且具备 4D 一致性的视频。该方法通过构建辅助数据并引入布局感知的位置嵌入,结合因子化时空注意力机制处理多视角与时间动态,同时应用潜在频率损失以缩小生成视频与真实采集的数据差距。
推荐理由:该工作提出基于高分辨率视频扩散模型的统一框架,解决稀疏低分辨率采集下的 4D 一致性问题。
该论文提出 RangeNav,这是一个仅含 183k 参数的紧凑 LiDAR 范围图像编码器,完全基于合成数据预训练。模型采用各向异性卷积和圆形填充以处理范围图像的极端宽高比与经线问题。
该论文基于 CURSE'26 演习报告了 CLARKE 建筑与道路损伤评估 AI 分类器的性能结果。研究显示,该系统在处理从未见过的正射影像时,平均运行时间为 3.5 分钟,建筑损伤检测在佛罗里达和密苏里两地均实现了 0.834 的 Micro F1 分数,表现出良好的地理迁移能力;但道路损伤评估因对地图与图像的对齐误差及城市光照环境敏感而表现不佳。
AirPlayground 是一个用于训练和评估空中导航策略的统一基准。研究团队构建了 94 个具有对齐碰撞几何的真实感 3D Gaussian Splatting 环境,涵盖室内、城市户外及植被场景。
该研究针对生成模型难以利用视觉语言编码器中的坐标信息问题,提出通过调整训练过程中的信噪比分布来优化空间定位。实验表明,将训练重点转向高噪声阶段可将布局遵循度从25.9%提升至80.8%,接近潜在变分自编码器的重建上限。该方法无需修改架构即可在COCO数据集上将平均精度从1.0提升至57.3,且发现FLUX.1等模型采用的保守噪声调度不足以实现精确的布局控制。
AutoPhyX 提出一种文本条件的空间变化物理属性预测框架,通过部分可控数据生成管线与跨模态调制机制解决视觉输入固有的歧义性。该方法在体素场中确保与网格、点云及 NeRF 等多种三维表示兼容,单次前向传播即可实现高准确度的物理参数分配并泛化至野外物体。实验表明其能支持未来对物理密集型具身智能和机器人应用的需求。
该论文提出 PRISM 框架,将传感器噪声解耦为感知失效与测量不准两种模态,利用视觉基础模型特征作为先验进行物理推理。针对失效区域稀疏问题,采用分层正样本优先监督策略。基准测试显示该方法在噪声深度合成中达到最先进保真度,下游机器人实验平均成功率提升至 92.1%,显著优于单一黑盒基线。
针对自动驾驶感知领域高质量标注数据稀缺及合成视频拟真度不足的问题,本文提出 NeuralSRender 框架。该框架基于预训练视频扩散 Transformer(DiT),利用轻量级投影器注入 G-Buffer 中的几何与材质先验,并通过 LoRA 实现参数高效适配。
论文 DriftNeRF 指出传统 NeRF 在稀疏视角下因缺乏射线间密度比较机制而导致渲染质量下降。作者提出一种无需预训练模型、外部几何或额外图像即可使用的 drop-in 正则化器,通过掩蔽指数核聚合邻近点密度以生成停止梯度的共识目标,从而惩罚未支持的密度分歧并保持边界完整。
推荐理由:DriftNeRF 通过显式测量并惩罚射线间密度不一致,解决了稀疏视角 NeRF 的缺陷,无需预训练模型即可提升 PSNR。
针对变视野体积扫描中的单样本地标定位挑战,本文提出 UNIVERS 框架,利用器官形状模板合成多样化伪数据并应用语义布局、视觉外观及空间姿态的随机化策略。结合跨域判别性体素级对比学习,该方法迫使网络忽略领域偏差,从而在任意视野的多模态体积扫描中实现肾上腺等不规则内分泌器官的单样本定位。实验在三个具有挑战性的数据集上验证了其在跨模态场景下优于最先进方法的效果。
Gonzalo Gomez-Nogales 等人发布了 Pair-Free Coarse-to-Real Video Generation 模型,该方法通过 DINO-R2C 模型在图像特征空间学习从真实到粗糙图像的映射,利用现有编辑与三维重建工具构建图像对进行监督,从而摆脱了对成对视频数据的依赖。
HyperDrone 是一个专注于高性能批量渲染的四旋翼模拟器,其渲染速度比现有最先进方案快 20 倍以上。该系统结合优化的多旋翼动力学与 HyperLux 光追引擎,支持 Nvidia OptiX、Vulkan、Apple Metal 和 WebGPU 后端,完全在 GPU 上运行。
推荐理由:HyperDrone 结合多旋翼动力学与 HyperLux 光追引擎,在消费级 GPU 上实现百万帧每秒的渲染速度,支持将纯仿真训练的视觉策略迁移至真实四旋翼。
论文提出了 Real2Sem2Real (R2Sem2R) 方法,旨在解决现有方法依赖深度传感或仅针对演示对象生成数据的局限。该方法利用 DINOv3-distilled Gaussian splats 跟踪 SE(3) 姿态,结合语义对齐将数字孪生体与演示物体匹配,并将人类手部动作映射为可行的机器人抓取策略。
推荐理由:该方法利用单个人类 RGB 演示生成跨语义实例的机器人数据,在真实机器人上验证了策略泛化能力。
该论文提出 HorizonComposer 方法,旨在解决通用指令引导视频编辑器在处理自动驾驶场景时破坏交通语义和产生时序震荡的问题。研究构建了混合数据集以平衡基础结构与外观信号,利用离线强化学习的优势条件化进行训练,并引入思考帧机制来缓解时序冲击。实验表明该方法在内容保留和时序一致性上优于现有方法,并能提升下游道路线分割与多目标检测性能。
arXiv 发布了一篇题为 WorldStream 的研究论文,提出一种开放式的 3D 世界模型,具备扩展可玩地形、响应开放式语言指令及恢复编辑后地点的能力。该系统通过分层规划器在类型化决策模型上发出结构化状态,利用确定性本地代码将计划编译为地形与实体,并通过流式处理分离计算范围以管理资源。
DeepEvolve 是一个基于未来事件预测的可持续进化智能体系统,通过与动态变化的环境交互实现内部与外部经验的积累。该系统通过解耦搜索与预测适应开放环境,并利用蒸馏技术从有限轨迹中演化出可复用技能。
推荐理由:DeepEvolve 系统展示了基于动态开放环境的递归自我进化框架,在真实事件预测榜单上连续三周排名第一。
论文介绍 UserArena 基准,包含来自 1.1 万用户的 6.47 万条会话轨迹,覆盖 56.6 万商品与 13 种动作类型。该基准配备交互式环境并支持基于生产 A/B 测试结果的离线验证,可实现从输出有效性到最终结果的五级评估。作者还提出了 On-Policy Trajectory Distillation 方法以提升长周期交互的仿真保真度,实验表明其在复现生产策略效果方面表现最佳。
NVIDIA Omniverse DSX Blueprint 助力开发者将现场方案、设备资产及工程需求整合为一致模型,支持团队检视修订并准备仿真。该工具通过连接可编辑工作流,帮助团队在设计演进中探索替代方案并融入工程反馈,加速 AI 工厂数字孪生构建。
上海AI实验室联合中国科学院金属研究所等机构发布自进化合金设计专家模型“书生·衍金”(AlloyEvo)。该模型通过自主设计方案、智能评估性能并沉淀经验,在航空航天3D打印工程钛合金研发中实现突破:样品抗拉强度达1817MPa,较现有基准提升12.8%,均匀延伸率持平。AlloyEvo已集成至书生·端砚科学发现平台,支持高温合金、特种钢等新材料体系的设计与研发。
推荐理由:上海AI实验室联合多方推出自进化合金设计专家模型AlloyEvo,在工程钛合金研发中实现抗拉强度提升12.8%的突破。
该研究针对合成孔径雷达与光学卫星数据配准中存在的地理缺失问题,提出了一种名为 DDSA 的算法,通过分层配额控制、严格时间配对及人机协同修复机制来优化数据采集。实测显示,该算法在部分预算下即可覆盖所有分层,且修复循环提供了近四成的有效样本对。作者公开了 STRATA-S12 语料库及其元数据侧车,预注册线性探针检查证实其适用于自监督预训练任务。
推荐理由:作者提出一种分层采集算法以解决多模态遥感数据的地理缺失问题,并公开了包含修复机制的自监督预训练语料库。
论文介绍 Embodied Manipulation Media Adaptation (EMMA) 框架,旨在解决大规模机器人操作数据获取成本高的问题。该框架包含 DreamTransfer 架构,用于生成多视图一致且几何合理的具身操作视频,支持前景、背景和光照的文本驱动编辑并保留三维结构;同时提出 AdaMix 混合训练策略,根据策略表现自适应加权样本以强调挑战性任务。