GROME:将因子化记忆引入视频世界模型
针对视频世界模型在长视界一致性上的挑战,本文提出了 GROME 框架。该框架通过静态 - 动态因子化解耦历史证据、局部记忆检索消除几何漂移以及无需训练的内存注入机制,在不修改冻结主干网络的前提下显著提升了场景持久性与动态实体保真度。实验表明,GROME 能兼容外部观测作为即插即用记忆,支持灵活的视频续写与场景探索。
推荐理由:提出无需额外训练的因子化记忆框架,解决视频世界模型在长视界场景下的几何漂移与动态实体保真度问题。
技术方向
三维重建、空间表示、视觉定位和可交互环境中的感知与推理。
760 条精选近 30 天 559 条共收录 4,114 条
针对视频世界模型在长视界一致性上的挑战,本文提出了 GROME 框架。该框架通过静态 - 动态因子化解耦历史证据、局部记忆检索消除几何漂移以及无需训练的内存注入机制,在不修改冻结主干网络的前提下显著提升了场景持久性与动态实体保真度。实验表明,GROME 能兼容外部观测作为即插即用记忆,支持灵活的视频续写与场景探索。
推荐理由:提出无需额外训练的因子化记忆框架,解决视频世界模型在长视界场景下的几何漂移与动态实体保真度问题。
针对思考型视觉语言模型在高分辨率图像中遗漏细节的问题,研究提出利用注意力头作为训练信号的对齐方法。该方法让模型在学习推理陈述视觉事实时,将注意力聚焦于关键区域而非背景,从而提升细粒度感知准确率。
推荐理由:提出利用注意力头作为训练信号的对齐方法,在无需多轮推理的情况下提升细粒度视觉任务准确率。
论文指出视觉语言模型将坐标离散化为文本进行自回归解码会忽略空间结构并累积误差。作者提出在冻结骨干网络后附加轻量级几何兼容预测头,直接回归连续的功能框和轨迹关键点。实验显示该方法在 ShareRobot-Bench 上将功能预测 mAP 提升 85%,轨迹预测误差降低超 60%,吞吐量是基准的 3.8 倍,接近 RoboBrain 水平。
推荐理由:该工作证明冻结骨干网络的 VLM 中间层已包含丰富空间信息,通过轻量几何头即可将轨迹预测误差降低超 60%。
UMI-Live 是一套全栈开源的双手通用操作接口(UMI)系统,旨在无需物理机器人遥操作即可采集数据。该系统集成了相机与激光雷达惯性传感、板载计算及电源,无需外部追踪设备或环境内校准。
推荐理由:开源了无需外部追踪的双手 UMI 硬件与软件栈,提供同步 SLAM 重建与 VLA 策略训练支持。
arXiv 发布论文 Youtu-Parsing-Omni,提出一种全模态解析器,将文档、图像、音频和视频转换为时空结构化记录。其设计基于单一编码器和单一任务图式,在 OmniDocBench v1.6 上取得开源模型最佳整体分数(96.96),并在图表解析和化学指纹匹配等特定任务上表现领先。代码与权重已公开。
推荐理由:该工作提出统一编码器与图式架构,在文档、音视频多模态解析任务上取得开源模型最佳表现。
针对现有视频世界模型隐含 3D 动力学、动作表述绑定特定机器人配置以及 3D 运动预测仅使用流监督信号等局限,该工作提出 WorldFlow,这是一个生成式世界模型,能够联合预测未来视频和基于查询的 3D 轨迹。
推荐理由:该工作提出统一架构联合预测视频与三维轨迹,在仿真及真实数据上均取得最佳位移误差。
分子之心发布了其AI蛋白质从头设计平台MMDesign的最新技术报告,覆盖18个不同靶点共19个设计项目,其中18个项目获得经实验确认的结合分子,项目成功率达94.7%。
推荐理由:报告展示了国产AI制药平台MMDesign在抗体从头设计上的系统性验证成果,涵盖GPCR等难靶点及跨模态能力。
地瓜机器人大模型团队于10月27日开源世界模型仿真平台Uranus,发布技术报告、推理代码、SDK及两个版本模型权重,面向全球开放早期体验名额。
推荐理由:地瓜机器人开源Uranus仿真平台,提供因果架构与流式推理机制,支持多本体接入及分钟级连续推演。
禾赛科技宣布布局机器人运动引擎与三维世界数据引擎,旨在构建物理AI时代的基础设施。动力模组体积缩小37%、功率密度提升3倍,已赋能Sharpa灵巧手并进入英伟达参考方案;Kosmo系统可同步生成多种三维形态,在DQ冰淇淋门店部署中使任务成功率提升至99%。截至2026年第二季度末,禾赛已累计交付动力模组超1万套,正从激光雷达公司向物理AI基础设施公司转型。
推荐理由:原文披露了动力模组与三维数据引擎的具体性能指标及在真实门店的部署效果,为评估其技术成熟度提供了参考。
论文研究了不同预训练信号如何诱导视频世界模型潜变量中的动作相关结构。研究通过统一的逆动力学探针评估发现,时序视频预训练主要驱动了动作相关性,而像素重建保真度并非关键;具有强解码质量的模型可能表现出近零的动作恢复能力。此外,逆动力学监督显著提升了模型对视觉扰动的鲁棒性。该工作已接受至 CoRL 2026。
推荐理由:该研究通过统一探针评估发现,视频预训练带来的时序预测结构是驱动潜在空间动作相关性的核心因素,而非像素重建保真度。
针对现有链式思维推理难以编码连续视觉证据的问题,本文提出 ReGuLaR 框架,利用训练时的 ReGFormer 聚焦问题相关物体与关系,在推理阶段无需调用该模块即可生成答案。研究构建了 RGROUNDING-351K 数据集以支持模型训练,并在多个基准测试中取得了优于现有方法的最先进性能。
推荐理由:提出基于关系的潜在推理框架 ReGuLaR,通过训练时显式建模物体关系提升大视觉语言模型的连续证据编码能力。
AmaraSpatial-10K 是一个包含 10,071 个合成 3D 资产的数据集,所有资产均经过标准化处理以支持直接摄入。每个资产提供符合物理尺度的.glb 文件、分离的 PBR 贴图、凸碰撞包络、配对参考图像及多句文本元数据。
推荐理由:该数据集提供标准化 3D 资产与独立评测套件,显著改善检索召回率并提升仿真稳定性。
论文提出 GEST-Engine 开源系统,可确定性执行事件图并渲染同步多角色场景视频,同时记录包括三维实体状态、相机状态、成对空间关系及实例分割在内的完整真值。
推荐理由:该工作利用游戏引擎生成带完整时空真值标注的视频数据集,填补了视频模型在实体间关系理解上的空白。
该研究提出了 DEIMv2 系列目标检测模型,通过结合 DINOv3 特征与空间调优适配器(STA),在涵盖从 X 到 Atto 的八种模型规模上实现了性能与成本的优化。其中最大模型仅用 5030 万参数即达到 57.8 AP,而 S 版本成为首个参数量低于 1000 万且超越 50 AP 里程碑的模型。
推荐理由:该工作将 DINOv3 特征引入检测框架,在保持参数高效的同时实现了性能突破。
论文提出 V-LUMEN,一种用于视觉语言模型(VLM)的视觉查找记忆机制。该方法利用冻结码本将连续视觉特征离散化,通过空间聚合哈希构建感知空间的记忆键,并利用文本条件的相关性信号进行调制;所有寻址均为非参数化操作,检索到的嵌入向量通过门控残差路径融合到骨干网络中。
推荐理由:V-LUMEN 通过冻结码本将连续视觉特征离散化,在保持计算量恒定的前提下为 VLM 提供可扩展的外部记忆容量。
论文介绍 OmniBrain-0,这是一个轻量级统一具身代理模型,旨在协调操作与导航任务。该模型采用共享高层决策架构,结合任务理解、规划及反馈驱动恢复机制。研究提出渐进式训练框架,整合具身预训练、领域专用代理蒸馏及多教师在线策略蒸馏(MOPD),并将 Rubric-Guided Recursive Self-Improvement 数据飞轮引入以持续优化专家模型。
推荐理由:报告提出 OmniBrain-0 统一代理架构,通过渐进式训练与递归自我改进机制整合多模态能力。
该研究解决部署策略变更使世界模型不确定性失效的问题,在保持物理转移机制和预测器不变的前提下,通过估计状态占据与动作倾向比率实现加权共形校准。实验基于开源 DINO 特征世界模型与 Franka 机械臂轨迹,在强控状态下行动态覆盖率从普通方法的 55.0% 提升至 91.0%,且学习到的代理分布与目标律的总变差距离小于 0.9%。
推荐理由:针对部署策略变更导致的世界模型不确定性失效问题,提出基于加权共形校准的方法以适配目标分布。
该论文提出 GCSR-OCC 框架,通过证据守恒高斯到占用算子(EC-G2O)抑制尺度膨胀并校准响应,利用多模式查询优先高斯语义路由(MM-QGSR)匹配文本查询以细化 voxel 级预测。
推荐理由:提出 GCSR-OCC 方法,结合几何校准与语义路由解决开放词汇占用预测问题。
论文介绍 SceneEvolve 框架,将三维场景表示为可执行代码并通过演化 harness 来改进重建效果。该框架结合参数化原语与语义空间关系构建动作接口,利用强教师模型迭代优化 harness,同时保持模型参数固定。
推荐理由:该工作提出用代码演化框架提升开源模型在三维重建任务上的表现,并实现了对闭源大模型的超越。
该研究针对多视图 3D 感知中 VGGT 模型全局注意力计算量大、长序列运行慢的问题,提出了一种无需训练的加速方法 GPA-VGGT。该方法通过用共享跨帧 K/V 集增强的帧注意力替换早期块的全局注意力,并在后续块中仅合并键值对同时保留所有查询,恢复被合并键代表的注意力质量,并将匹配度量随机投影至 128 维以降低计算成本。
推荐理由:提出无需训练的加速方法,在保持高精度几何估计的同时显著降低长序列推理成本。