NVIDIA Cosmos 开放新工具以训练、评估和部署世界模型
NVIDIA 扩展了 Cosmos 平台,推出新的训练工具、仿真检查点和 Cosmos Data Factory 蓝图,帮助开发者快速构建用于理解与模拟现实世界的世界模型。
推荐理由:NVIDIA Cosmos 平台新增数据工厂蓝图与训练工具,支持多模态合成数据生成及开源模型适配,旨在加速物理 AI 系统的开发与部署。
技术方向
真实和遥操作数据、数据集开放、合成数据及训练工具;区分下载开放与再使用授权。
482 条精选近 30 天 361 条共收录 3,060 条
NVIDIA 扩展了 Cosmos 平台,推出新的训练工具、仿真检查点和 Cosmos Data Factory 蓝图,帮助开发者快速构建用于理解与模拟现实世界的世界模型。
推荐理由:NVIDIA Cosmos 平台新增数据工厂蓝图与训练工具,支持多模态合成数据生成及开源模型适配,旨在加速物理 AI 系统的开发与部署。
针对现有方法难以跟随结合旋转、平移和半径变化的大角度相机轨迹并导致几何失真的问题,该工作提出 WorldCast 框架与 CLACT 基准。WorldCast 通过将初始帧反投影至三维点云并与目标轨迹对齐来提供显式几何引导,同时利用 Geometry-Aligned Memory Attention 机制在统一坐标系下检索注入角色特征以维持身份一致性。
推荐理由:该工作提出 WorldCast 框架与 CLACT 基准,解决大角度相机运动下的角色几何一致性问题。
针对传统通道剪枝忽略响应互补性的问题,该方法将剪枝定义为选择具有大联合响应容量的子集,并通过统一响应几何映射与 Schur 贪婪残差筛选非冗余坐标。构建包含无标签实例和任务条件实例的两个版本,后者结合激活梯度方差与相关性进行尺度与互补性判断。
推荐理由:提出基于统一响应几何的结构化剪枝方法,在无需微调下实现更高精度。
针对大语言模型在处理非局部且语义模糊的视觉信息时面临的挑战,本文提出了基于 GRPO 的过程奖励方法 CAVE。该方法通过信念更新、证据获取和自适应焦点控制三种信号评估中间步骤的贡献,引导模型优化每个推理动作并学习更可靠的策略。
推荐理由:提出基于 GRPO 的结构化过程奖励方法 CAVE,通过信念更新等信号优化中间步骤贡献,在碎片化视觉证据整合任务上显著提升了模型性能与鲁棒性。
PCLA-Bridge 是一个无需活跃 CARLA 服务器即可运行未修改 CARLA Leaderboard 智能体的工具,支持从任意传感器源到任意控制目标的部署。
推荐理由:PCLA-Bridge 框架允许在不修改 CARLA Leaderboard 模型的情况下,将其跨域部署到 MetaDrive、AWSIM 等仿真引擎及真实数据流中。
针对现有世界模型在观测中难以捕捉物体质量分布、关节阻尼等物理属性导致预测回归经验先验的问题,本文提出 PhysiCalWorld 方法。该方法通过端到端训练,将测试场景内的探索性交互片段编码为紧凑的物理描述符 token,无需微调或解析物理建模即可校准动作条件化的世界模型以适配实例特定动力学。
推荐理由:提出无需微调的上下文物理校准方法,通过探索性交互片段生成紧凑描述符以修正世界模型的物理漂移。
论文提出 RealMe 框架,利用高分辨率视频扩散模型将稀疏、低分辨率的采集资源增强为 2K 分辨率且具备 4D 一致性的视频。该方法通过构建辅助数据并引入布局感知的位置嵌入,结合因子化时空注意力机制处理多视角与时间动态,同时应用潜在频率损失以缩小生成视频与真实采集的数据差距。
推荐理由:该工作提出基于高分辨率视频扩散模型的统一框架,解决稀疏低分辨率采集下的 4D 一致性问题。
针对扩散式视频生成模型在长序列中自运动(ego-motion)漂移导致几何不一致的问题,该研究提出 CausalAlign 框架。该方法利用线性探针诊断自运动表征的保留模式,并通过将特定层的表征与 3D 基础模型在 delta-token 空间对齐来增强自运动状态。
推荐理由:该工作通过因果对齐框架修正扩散视频生成模型的自运动漂移,显著提升了几何一致性与具身任务成功率。
该研究评估了生产级多模态大模型 Gemini 3.8 Flash 和 3.7 Flash 作为事件触发式跌倒筛查器的决策阶段能力,使用公开的低分辨率热成像数据集。
推荐理由:原文在实验室与居家真实场景中评估了多模态大模型对低分辨率热成像视频的跌倒检测能力,并公开了帧级标注数据。
arXiv 论文提出将扩散 Transformer(DiT)视为输入自适应的局部去噪器,其中上下文聚合对应注意力机制,补丁预测对应 MLP。研究证实 DiT 在真实图像上训练时表现出与高斯马尔可夫随机场分析一致的去噪上下文依赖性与注意力分布模式,且共享内存补丁预测器可作为 MLP 的有效替代方案。
推荐理由:该文从聚合器 - 预测器视角解析 DiT 的去噪机制,为架构级微调与干预提供理论依据。
该论文研究了视觉语言模型中的组成性零样本学习(CZSL),提出无需显式重组属性与物体对,直接利用分解出的原语特征即可识别未见过的组合。研究通过新评分函数和广泛评估表明,嵌入流形的几何结构(欧氏、球面或双曲)及数据集结构显著影响组成性推理效果。
推荐理由:该文提出无需显式重组即可利用分解特征进行零样本组合学习,并对比了欧氏、球面及双曲流形对推理的影响。
针对目标检测依赖大量人工标注且软标签成本高的问题,作者提出一种半监督框架,利用开放词汇检测器生成区域建议与语义表示,构建对象级相似图并传播概率标签信息。该方法为未标注对象分配软标签,量化了偶然性与认知不确定性。
推荐理由:提出基于开放词汇检测器与图传播的半监督框架,在仅用1%标注成本下实现COCO数据集40.5% AP,接近全人工标注水平。
针对现有遥感数据类别覆盖有限、分类体系粗糙的问题,作者发布了 OpenEarth-OVS44 多模态基准数据集。该数据集包含来自法国、日本和美国 40 个城市的 290,587 个专家验证片段,涵盖 2,832 张 RGB 图像及 1,341 对严格配准的亚米级分辨率 RGB-SAR 影像,并构建了统一的 44 类(9 基类)分类体系。
推荐理由:该数据集提供多模态遥感分割基准与统一分类体系,支持跨域泛化能力评估。
论文 DriftNeRF 指出传统 NeRF 在稀疏视角下因缺乏射线间密度比较机制而导致渲染质量下降。作者提出一种无需预训练模型、外部几何或额外图像即可使用的 drop-in 正则化器,通过掩蔽指数核聚合邻近点密度以生成停止梯度的共识目标,从而惩罚未支持的密度分歧并保持边界完整。
推荐理由:DriftNeRF 通过显式测量并惩罚射线间密度不一致,解决了稀疏视角 NeRF 的缺陷,无需预训练模型即可提升 PSNR。
该研究在 Nutrition5k 等四个数据集上对比了微调后的 DINOv2-base 与零样本 Qwen3-VL-32B,发现前者虽在本域误差更低,但在外部数据集表现不优于后者。
推荐理由:研究指出单图食物估重模型无法跨数据集迁移,且存在场景依赖与食物特异性偏差。
HyperDrone 是一个专注于高性能批量渲染的四旋翼模拟器,其渲染速度比现有最先进方案快 20 倍以上。该系统结合优化的多旋翼动力学与 HyperLux 光追引擎,支持 Nvidia OptiX、Vulkan、Apple Metal 和 WebGPU 后端,完全在 GPU 上运行。
推荐理由:HyperDrone 结合多旋翼动力学与 HyperLux 光追引擎,在消费级 GPU 上实现百万帧每秒的渲染速度,支持将纯仿真训练的视觉策略迁移至真实四旋翼。
论文提出了 Real2Sem2Real (R2Sem2R) 方法,旨在解决现有方法依赖深度传感或仅针对演示对象生成数据的局限。该方法利用 DINOv3-distilled Gaussian splats 跟踪 SE(3) 姿态,结合语义对齐将数字孪生体与演示物体匹配,并将人类手部动作映射为可行的机器人抓取策略。
推荐理由:该方法利用单个人类 RGB 演示生成跨语义实例的机器人数据,在真实机器人上验证了策略泛化能力。
针对视觉问答中的视觉绑定问题,本文通过固定图像与陈述的对照实验,分析了对象角色、关系等字段标签在不同模型上的差异化效果。研究发现,添加对象角色标签对 Qwen3 有利但对 Qwen2 有害,且保留提示词的优势主要源于避免错误互换;更清晰的提示词虽提升文本匹配但未必改善视觉判断,而直接选择图像中的关系则能部分降低特定提示下的误差。
推荐理由:该研究通过控制变量实验揭示了结构化提示中不同标签对视觉绑定任务的具体影响,为优化多模态模型指令提供了实证依据。
DeepEvolve 是一个基于未来事件预测的可持续进化智能体系统,通过与动态变化的环境交互实现内部与外部经验的积累。该系统通过解耦搜索与预测适应开放环境,并利用蒸馏技术从有限轨迹中演化出可复用技能。
推荐理由:DeepEvolve 系统展示了基于动态开放环境的递归自我进化框架,在真实事件预测榜单上连续三周排名第一。
英伟达发布并开源了面向机器人数据集的数据引擎Flora,该系统由动作描述、时间分段和奖励三个模型组成,可将原始机器人视频转化为带时间戳的动作描述及过程/结果奖励。Flora基于Qwen3.5微调,在WGO-Bench等基准测试中表现优异,标注成本约为GPT-6 Astra的1/125(每小时0.72美元对比88.49美元),目前已用于训练GR00T系列模型。
推荐理由:英伟达开源Flora数据引擎,将机器人视频转化为高质量训练信号,成本仅为GPT-6 Astra的1/125。