Frameboy:Atlas 世界模型的实时交互演示
World Labs 发布 Frameboy 研究预览,允许用户通过浏览器以最高 15 fps 的速率控制相机并实时探索由 Atlas 生成的 3D 场景。该演示基于高度优化的 Atlas 变体,支持从单张输入图像或文本描述生成全新视角,并可集成至 Viewfinder 应用用于构建和流式渲染自定义场景。
推荐理由:World Labs 推出 Frameboy 演示,支持以 Atlas 世界模型实现实时交互与流式帧生成。
World Labs 发布 Frameboy 研究预览,允许用户通过浏览器以最高 15 fps 的速率控制相机并实时探索由 Atlas 生成的 3D 场景。该演示基于高度优化的 Atlas 变体,支持从单张输入图像或文本描述生成全新视角,并可集成至 Viewfinder 应用用于构建和流式渲染自定义场景。
推荐理由:World Labs 推出 Frameboy 演示,支持以 Atlas 世界模型实现实时交互与流式帧生成。
World Labs 与 AMD 达成最终协议,将于 2026 年底前完成合并(受监管审批等条件约束)。Fei-Fei Li 将出任 AMD 执行副总裁兼首席科学家,Justin Johnson 和 Ben Mildenhall 将继续领导 World Labs 团队。双方计划整合软件、硬件及基础模型资源,构建涵盖硬件、软件、平台及开放模型的端到端 AI 生态系统。
推荐理由:World Labs 签署加入 AMD 的协议,Fei-Fei Li 将任 AMD 执行副总裁兼首席科学家,双方计划整合软硬件栈构建端到端开放 AI 生态。
World Labs 发布下一代世界模型 Atlas,这是一个原生操作文本、图像、视频和 3D 数据的 Omni 多模态自回归扩散 Transformer。Atlas 具备相机控制生成(从单图或多图生成任意视角视频)、稀疏视图空间重建(从少量输入图像恢复 2D/3D 几何)以及时空仿真能力,可支持机器人 Real-to-Sim 工作流。
推荐理由:World Labs 推出原生支持文本、图像、视频与 3D 的 Omni 模型 Atlas,具备相机控制生成、稀疏视图重建与时空仿真能力。
World Labs 宣布联合 SceniX 推出 R2S2R 引擎,将真实任务转化为高保真仿真世界以支持机器人策略训练与评估。该引擎实现了从真实到仿真(Real-to-Sim)的转换及从仿真到真实(Sim-to-Real)的策略迁移,允许在零真实数据下训练策略并直接部署到多种物理机器人上。
推荐理由:World Labs 联合 SceniX 推出 R2S2R 引擎,实现零真实数据训练与闭环评估。
World Labs 宣布收购机器人公司 SceniX,双方将整合在空间智能、世界模型、基于学习的仿真以及闭环现实学习方面的互补技术实力。官方表示未来将分享 SceniX 的早期技术细节及其在具身智能领域的具体应用前景。
推荐理由:World Labs 宣布收购机器人公司 SceniX,旨在整合双方在空间智能、世界模型及仿真学习领域的技术优势以推动具身智能发展。
World Labs 发布 Spark 2.0,集成 Level-of-Detail、渐进式流传输和虚拟内存技术,可在任何设备上流畅渲染包含数亿高斯椭球体的大规模 3D 场景。新工具提供 .RAD 文件格式以支持按需加载细节,并开源了 Rust 编写的核心代码与示例仓库,允许开发者在 Web 浏览器中构建交互式 3DGS 体验。
推荐理由:World Labs 发布 Spark 2.0,通过 LOD、渐进式流传输和虚拟内存技术,支持在浏览器端渲染海量 3DGS 场景。
World Labs 宣布完成 10 亿美元新融资,投资方包括 AMD、NVIDIA 等。公司首款产品 Marble 现已推出,允许用户通过图像、视频或文本创建空间连贯的高保真持久三维世界。该进展旨在加速构建世界模型以推动空间智能在机器人及科学发现等领域的应用。
World Labs 正式发布 World API,这是一个面向公众的接口,允许开发者通过文本、单图、多图集合、全景或视频等多模态输入,直接生成可导航的 3D 世界。
推荐理由:World Labs 正式推出 World API,允许开发者通过文本、图像或视频生成可导航的 3D 世界并集成到现有工作流中。
World Labs 正式发布多模态生成式世界模型 Marble,使其从早期测试转向通用可用。该模型支持通过文本、图像、视频或粗略 3D 布局创建 3D 世界,并允许交互式编辑、扩展和组合场景。
推荐理由:World Labs 正式发布多模态生成式世界模型 Marble,支持从文本、图像及视频构建 3D 场景,并新增编辑、扩展与导出功能。
World Labs 发布了名为 RTFM(Real-Time Frame Model)的实时生成式世界模型研究预览版。该模型能在单张 H100 GPU 上以交互帧率运行,支持对生成的 3D 场景和真实地点进行持久化探索。
推荐理由:World Labs 发布实时生成式世界模型 RTFM,单卡 H100 即可实现持久化交互与复杂光影渲染。
World Labs 发布 Marble 模型预览版,支持通过图像或文本提示生成长时间无限制、几何一致且风格多样的 3D 世界。该模型专注于构建大型环境而非孤立物体,并开放开源渲染库 Spark 以集成 Gaussian splats 到 Three.js,支持在桌面和 VR 设备上高效运行。
推荐理由:World Labs 推出 Marble 模型,支持生成持久、可导航且风格一致的 3D 世界,并提供开源渲染库 Spark。