ManifoldSplat:首个面向可动 3D 高斯头像的语言引导语义形状编辑框架
ManifoldSplat 是首个端到端框架,支持对由单目视频重建的可动 3D 高斯 Splatting 头像进行语言引导的语义形状编辑。该方法通过在结构化 FLAME 流形内执行编辑而非直接优化非结构化高斯云,严格保留了身份特征与动画能力。
推荐理由:该工作提出首个端到端框架,利用结构化流形约束实现语言引导的 3D 高斯头像语义编辑,在保持身份与动画一致性的同时提供细粒度局部控制。
技术方向
检测、分割、三维感知、定位与视频理解,以及相机、传感器和视觉工程。
985 条精选近 30 天 659 条共收录 6,653 条
ManifoldSplat 是首个端到端框架,支持对由单目视频重建的可动 3D 高斯 Splatting 头像进行语言引导的语义形状编辑。该方法通过在结构化 FLAME 流形内执行编辑而非直接优化非结构化高斯云,严格保留了身份特征与动画能力。
推荐理由:该工作提出首个端到端框架,利用结构化流形约束实现语言引导的 3D 高斯头像语义编辑,在保持身份与动画一致性的同时提供细粒度局部控制。
arXiv 论文 ProgressNet 提出一种无需训练的训练即用的框架,让冻结的文本到图像模型能够像人类一样跟随草绘过程逐步生成和擦除图像。
推荐理由:该工作提出无需训练的框架,使冻结的文生图模型能跟随草绘过程逐步生成与擦除图像。
I2CD 冻结预训练的 Hunyuan3D-2 扩散模型并训练轻量级交叉注意力头,直接从单张 RGB 图像预测用于物理仿真的凸碰撞几何。该方法无需后处理即可加载到 MuJoCo、PyBullet、Genesis 和 Isaac Sim 等引擎中,在 OmniObject3D 数据集上体积 IoU 最高且速度提升 6-37 倍。
推荐理由:I2CD 直接预测凸分解,无需后处理即可加载到物理引擎,在 MuJoCo 等跨模拟器测试中表现优于传统重建 - 分解流水线。
论文提出了 ChromaGS 方法,用于对可动画化的 3D 高斯头像进行实时的语言引导颜色编辑。该方法通过将每个高斯基元增强为学习到的语义区域软分配,并将颜色分解为区域级基础颜色和基元级残差,从而在无需重训练的情况下实现渲染时即应用的确定性、精确局部化色彩修改。实验表明该方法能在不同主体上保持外观的忠实性和交互的直观性。
推荐理由:该方法通过分解高斯基元实现语言引导的语义颜色编辑,无需重训练即可实时修改可动画化头像的区域色彩。
该论文针对文本到三维(Text-to-3D)生成中多质量维度同时优化导致的干扰失衡问题,提出了 OuroReward 框架。该方法通过估计维度间依赖关系构建循环优化路径,并结合尾部到头部依赖以捕捉全局兼容性;将循环转化为单遍序列后从累积干扰最低的维度开始优化,且根据当前维度的剩余优化空间自适应决定何时推进至下一奖励,而非分配固定预算。
推荐理由:针对文本生成三维模型中的多奖励维度冲突问题,提出基于依赖关系的序列调度策略与自适应提示选择方法。
论文介绍 NAVA-WAM 方法,旨在解决世界动作模型依赖动作标注数据可扩展性受限的问题。该方法直接从仅含观测的视频中预训练动作策略,无需间接表示迁移或单独的动作潜变量模型。
推荐理由:提出 NAVA-WAM,通过原生动作先验直接从观测视频预训练策略,无需动作标注即可实现机器人控制。
论文提出无需训练的 Patch-to-Prune (P2P) 框架,利用激活修补技术识别并替换 VLM 解码器中可被固定中性代理向量替代的区域,从而绕过冗余的视觉计算。
推荐理由:提出无需训练的 Patch-to-Prune 框架,在保留序列长度与预训练权重的情况下,通过固定中性代理向量绕过冗余视觉计算,将 FLOPs 降低 55%。
针对现有多对象交互数据集采集成本高昂的问题,该研究提出 COSMI 方法,利用单对象捕捉片段通过镜像、转移及语言与几何一致性检查进行组合合成,构建了包含 22.2 万序列和 275 小时视频的多对象交互数据集。基于此数据训练的文本到交互扩散模型在未见对象与交互组合的基准测试中展现出优异的泛化能力,且在文本对齐与接触精度上优于基线方法。代码、模型及数据处理管线将在项目页面发布。
推荐理由:COSMI 数据集通过组合单对象捕捉生成多对象交互,显著扩展了训练数据规模并提升了模型对未见对象的泛化能力。
论文提出 COFLOW 方法,在推理阶段根据提示词特征自适应选择生成步数,平衡效率与质量。该方法无需重训底层生成模型,支持图像和视频生成,实现超过 2.5 倍加速且保持感知和语义质量。研究提供了理论分析,证明在标准正则性条件下前向欧拉离散化误差界为 O(1/K)。材料来源于 arXiv 预印本,已获 NeurIPS 2026 接收。
推荐理由:提出 COFLOW 方法,通过提示词自适应选择生成步数实现推理加速,无需重训底层模型。
针对现有视频多模态大模型过度依赖外观和语言先验、忽视时序证据的问题,提出行为包优化(BPO)方法。该方法用反事实视图的行为包替代单一响应进行联合评分,要求模型在无关干预下保持稳定、关键证据缺失时敏感且无证据时放弃回答。
推荐理由:提出行为包优化方法,通过反事实视图联合评分提升视频多模态大模型的时序证据推理能力。
针对现代自回归视频扩散模型在生成长视频时出现的颜色纹理漂移和运动衰减问题,本文提出 In-Distribution Forcing 框架。该方法通过自缓存机制,确保滚动窗口内的 KV 缓存条目始终处于训练分布内,从而解决传统 KV 条件化假设失效导致的源端 OOD 问题。实验表明,该方法在标准基准上保持竞争力,并显著优于现有工作以抑制漂移现象。
推荐理由:提出 In-Distribution Forcing 框架,通过自缓存机制解决长视频生成的漂移问题。
本文研究了如何将 ViTok 项目的进展整合进单一多教师蒸馏方案,以同时保留全局识别与稠密语义。研究基于从 SigLIP2 和 DINOv3-L 蒸馏出的学生模型,发现单纯优化 ImageNet-1K 分类精度会损害 ADE20K 分割性能。
推荐理由:本文总结了 ViTok 项目的多教师蒸馏经验,通过拆分适配头与掩码图像建模平衡全局识别与稠密语义,为未来迭代提供具体教训。
论文指出文档问答任务中存在‘找到但未读’的现象,即检索到的页面图像虽含证据但模型难以利用。研究通过对比仅用图像与加入 OCR 提取文本的效果发现,在 FoveDoc-Bench 基准上,添加 CPU-OCR 文本使严格准确率提升 13 至 16 个百分点,精确文本层可进一步将增益翻倍。
推荐理由:该研究揭示了文档视觉语言模型中检索与阅读之间的差距,证明提取文本能显著提升基于文本证据的问答准确率,但对图表无效。
论文指出多模态大语言模型虽能正确陈述空间事实,却未必能在后续推理中有效利用该状态。作者提出 SpaceConflict 基准(含 23,196 个输入),涵盖局部绑定、关系组合及变换下的状态判断等任务,揭示模型在驱动变换时存在可用性差距。
推荐理由:提出 SpaceConflict 基准揭示多模态模型存在‘可见可述但不可用’的差距,并引入 OSS 方法提升状态利用能力。
该论文提出一种连续时间事件相机立体视觉里程计(VO)管道,通过物理基础的前向加速度白噪声先验将测量插值到精确的时间戳,从而在保持异步测量原生分辨率的同时维持实时运行。
推荐理由:提出基于关键时间高斯过程的实时事件相机立体视觉里程计,在 MVSEC 和 DSEC 数据集上实现比离散估计器更优的精度与频率。
Physical AI Smart Spaces 是首个同时提供大规模、多类别和多相机室内智能空间 3D 感知数据的基准。数据集包含超过 280 小时同步 1080p 视频,由近 1800 个摄像头在仓库、医院和零售场所等场景采集,并附带自动标注的多相机身份、2D/3D 边界框、相机标定及深度信息。
推荐理由:该基准提供室内多相机同步数据与自动标注,并扩展 HOTA 指标至三维空间,支持仿真到现实的评估流程。
这篇论文提出了 Spatial Memory Intelligence (SMI),这是首个系统性地利用理解模型来管理长视频世界模型中空间记忆的框架。针对记忆序列增长和结构复杂化的挑战,SMI 引入了四个协同的原子操作:空间聚类、簇内稀疏化、动作感知检索以及可靠性感知过滤。实验表明该方法在多种基线、基准和世界模型骨干网络上均有效,显著提升了记忆稀疏度、生成稳定性和空间一致性。
推荐理由:该框架首次将理解模型用于长视频世界模型的时空记忆管理,通过聚类与稀疏化操作提升生成稳定性。
论文提出 MapMergeLLM 框架,将向量化 HD 地图的局部预测片段聚合成全局地图建模为条件序列生成任务。该方法利用坐标 tokenizer 和几何感知预训练精确表示坐标,并引入行级关联损失监督同一地图元素的对应关系。
推荐理由:提出 MapMergeLLM 框架,利用大语言模型将向量化地图聚合转化为条件序列生成任务,在 Argoverse2 和 nuScenes 数据集上显著优于启发式与优化基线。
针对医学体积渲染中转移函数(TF)控制颜色与可见性的问题,本文提出 FactorSplat,一种每场景 N 维高斯溅射(N-DGS)代理。该方法在推理时接受区域特定的强度到 RGBA 曲线,通过局部查找应用作者设定的颜色和不透明度变化,同时利用共享功能编码器和低秩每高斯因子学习残差外观响应。
推荐理由:提出可接受区域特定强度到RGBA曲线的每场景高斯代理,在七组CT和MR扫描上提升PSNR与误差指标。
针对长视频理解的效率问题,本文提出一种无需训练的单次遍历框架 LoHi,结合低分辨率密集流与高分辨率稀疏帧。实验表明,在匹配 Token 预算下,该方法平均准确率提升 10.6 个百分点,前端解码延迟降低最多 7 倍。论文已接受于 NeurIPS 2026。
推荐理由:该研究提出无需训练的 LoHi 框架,通过联合分配帧率与分辨率提升长视频理解效率。