Joints, Camera, Action!:为任意骨架协同生成 3D 运动与视频
arXiv 论文提出一种模型,直接为任意提供的骨架(rig)协同生成视频和 3D 运动,并注册相机以将动作置于 3D 场景中。该方法将 3D 运动建模独立于视频模型,支持非人形骨架,利用少量交叉注意力层连接预训练视频模型。
推荐理由:提出联合生成视频与任意骨架 3D 运动的新方法,支持非人形资产动画化及场景配准。
技术方向
检测、分割、三维感知、定位与视频理解,以及相机、传感器和视觉工程。
985 条精选近 30 天 659 条共收录 6,653 条
arXiv 论文提出一种模型,直接为任意提供的骨架(rig)协同生成视频和 3D 运动,并注册相机以将动作置于 3D 场景中。该方法将 3D 运动建模独立于视频模型,支持非人形骨架,利用少量交叉注意力层连接预训练视频模型。
推荐理由:提出联合生成视频与任意骨架 3D 运动的新方法,支持非人形资产动画化及场景配准。
该论文提出 KoalaGS 方法,利用输入视图计算的图像复杂度先验来指导高斯泼溅训练中的点云重定位与降级策略。研究发现在低算力预算下,简单区域的高斯数量过多会拖累渲染质量,该方法通过偏置重定向至重建较差区域并平滑过渡层级细节,在三个数据集上实现了更优的渐进式流送效果与结构保持能力。
推荐理由:该方法利用图像复杂度先验优化高斯泼溅的层级细节,在降低算力预算时保持场景结构并提升低容量下的渲染质量。
ScreenCalib 方法利用普通可编程显示屏上的 AprilTag 标记和屏幕物理边界,实现激光雷达与相机的外参标定。该方法通过标签引导提取、几何假设生成及场景边缘消歧义解决显示几何带来的关联模糊问题。
推荐理由:提出用普通显示屏替代专用标定板进行激光雷达与相机外参校准,通过多姿态共识降低误差。
SenseAlign 是一种针对触觉 - 视觉 - 语言模型的测试时适应方法,旨在解决部署中因环境变化或硬件差异导致的模态不可靠问题。该方法利用候选类别的文本嵌入比较累积观测以评估模态可靠性,并通过特征修正分离预测类别与替代选项。所有编码器保持冻结,仅使用无标签历史数据即可在自然偏移和受控腐蚀下恢复识别性能。
推荐理由:提出在测试时利用文本嵌入进行模态对齐与特征修正,以应对光照或传感器变化导致的性能下降。
该论文提出了一种基于广义贝叶斯证据融合的在线场景变化检测方法。方法通过离线学习自动对参考 3DGS 模型进行的编辑来生成带标签的训练视图,从而无需人工标注即可训练场景特定的证据模型和估计像素先验统计量。
推荐理由:该方法通过离线学习自动编辑的 3DGS 模型来生成监督信号,解决了在线场景变化检测中先验未知和数值推断成本高的问题。
针对对象 - 目标导航任务中检测器易误判及候选体被遮挡的问题,该研究提出 CLOSER 框架。该方法微调开源 VLM 对多视角候选体进行目标、非目标或不确定标注,利用嵌入多样性门控选择互补视角并融合概率;若仍不确定则驱动智能体仅凭掩码和深度信息接近候选体直至决策明确。
推荐理由:该工作提出证据感知的主动验证框架,通过微调开源 VLM 与扩散策略结合,在不重新训练现有导航系统的前提下提升目标导航成功率。
针对多模态搜索代理训练中视觉线索被文本捷径弱化的问题,本文提出 RACE 框架,利用图像构建从目标到答案的任务依赖。该框架通过参照抽象(RA)将身份揭示性文本替换为视觉或关系引用,并通过组合证据(CE)将多实体事实链接为需要综合所有贡献才能回答的问题。
推荐理由:提出 RACE 框架,通过图像条件任务合成提升多模态搜索代理的视觉 grounding 能力。
Arthur Ouaknine 和 David Rolnick 提出 GeoMixture 框架,旨在解决地理空间基础模型(GFMs)因预训练目标和模态差异导致的表示不一致问题。
推荐理由:提出 GeoMixture 框架,通过多表示对齐将单一编码器适配多个地理空间基础模型,在九个基准数据集上实现跨任务一致性。
该论文提出 SplatFlux,这是一个将视频潜变量解码为 4D 高斯(4DGS)的前馈框架,旨在统一处理视频基 4D 重建和条件式 4D 生成。核心观察在于利用预训练视频潜空间表示观测视频与生成内容。
推荐理由:该工作提出 SplatFlux,利用预训练视频潜空间统一处理重建与生成任务,并通过静态动态解耦策略实现无需标注的 4D 场景构建。
论文 PointForward V2 针对动态驾驶场景的前馈式重建任务,提出利用紧凑的场景结构化寄存器来中介稀疏 3D 查询间的交互,以替代直接的全局注意力机制。
推荐理由:该预印本提出通过紧凑的场景结构化寄存器中介查询交互,解决了点表示独立处理与全局注意力计算量大的问题。
arXiv 预印本论文提出 MoDDiT 架构,旨在解决扩散 Transformer(DiT)在处理自然图像时未能利用背景稀疏性的问题。该方法通过学习将令牌独立路由至 MLP 和自注意力操作,实现了跨令牌、图像及去噪步的动态计算分配。
推荐理由:该工作提出 MoDDiT 架构,通过动态路由机制在图像与视频生成中降低计算成本并提升性能。
Wenbin Liao 等人提出的 DCR-SAM 框架旨在解决 Segment Anything Model 3 (SAM3) 在处理多概念同时分割时的延迟与语义混淆问题。
推荐理由:针对 SAM3 在多概念分割中的延迟与语义混淆问题,提出 DCR-SAM 框架实现推理加速与高精度掩码生成。
论文提出 VEOcc++ 统一框架,利用持久稀疏体素特征图连接探索阶段的在线增量映射与后续的全局地图优化。该方法在 EmbodiedOcc-ScanNet 数据集上实现 67.12% IoU 和 58.40% mIoU,刷新在线增量映射 SOTA;离线优化阶段进一步提升至 67.79% IoU 和 59.37% mIoU。研究展示了在移动机器人上的零样本部署能力与大规模室内建图的可扩展性。
推荐理由:该工作提出统一框架,通过持久稀疏体素特征图连接在线增量映射与离线全局优化,在 EmbodiedOcc-ScanNet 上刷新 SOTA。
论文提出 PanoGraphGS 框架,将全景 3D 高斯表示学习与分层 3D 场景图构建相结合,在共享几何上学习语义与实例特征以支持跨视角一致预测。该方法恢复包含关系的空间层级结构,并在 Replica 和 NaviGS 数据集上实现对象节点识别准确率提升超 50 个百分点及领先的 2D 全景分割性能。
推荐理由:该工作提出统一框架融合全景分割与分层场景图,并开源新数据集,在对象节点识别与2D全景分割上均优于基线。
该研究提出用佩戴在采集者头上的单目自眼相机($122)替代手腕相机、姿态追踪器及多路数据流,配合贴有标签的无电子手套($22)和纸砖标记。实验显示该方法对机器人编码器标定的中位误差为 6.5mm 和 1.6 度,帧覆盖率 93%-100%;基于此训练的策略验证损失仅比编码器策略高 3%。
推荐理由:单目头显相机替代手腕设备,配合无电子手套实现低成本高精度抓取,演示了从遥操作到自主执行的迁移效果。
该论文提出一种基于正交残差学习的自适应侧偏和转向刚度估计方法,旨在解决轮胎变化时模型校正与滤波器创新竞争的问题。研究通过传播预测测量的刚度敏感性并构建与之正交的校正器,在整车仿真中使侧滑误差降低 12.7% 至 22.0%,并在真实车辆数据上验证了其对名义刚度偏移的鲁棒性。材料为预印本论文,已提交至 Vehicle System Dynamics。
推荐理由:提出正交残差学习框架,在保持侧偏刚度估计能力的同时抑制模型修正干扰。
论文提出 CVG-SGM 方法,通过几何加权的跨节点交互与共享节点 GRU 记忆机制,解决物体在遮挡载体内消失后重新出现时的身份重连问题。该方法在单载体单身份受控设置下达到 1.000 的重连准确率,优于无记忆和无写入基线;在真实 RGB-D/SAM2 特征级数据上正确重连了全部 36 个保留检测样本。
推荐理由:论文提出利用历史节点恢复机制解决物体在遮挡载体内消失后的身份重连问题,在受控实验与真实数据上均优于无记忆基线。
量子位报道了 MemTensor 开源的 MemT 1.0 系列模型(Nano 与 Flash),该模型将经验编码为内部动态状态,通过专门的记忆分支参与计算。在 SWE-bench Verified 任务中,MemT-1.0-Nano 平均成功率为 69.73%,优于无经验基线;在迷宫探索和信息更新场景中展现了更好的长期记忆复用能力。
推荐理由:MemT 1.0 系列将记忆编码为内部动态状态,在 SWE-bench 等基准上表现接近文本经验且推理成本更低。
NVIDIA 团队在 arXiv 发布 Foundation4D,这是一个统一的前馈模型,用于从多摄像头驾驶视频中估计几何、进行 3D 检测、生成语义占用和 Gaussian 重建。
推荐理由:该预印本提出统一几何估计与重建模型,并开源基准数据集,为无激光雷达场景提供深度与语义占用先验。
针对文本到图像扩散模型的概念擦除问题,现有方法依赖预定义语义锚点但缺乏对其选择影响的深入理解。本文通过因果溯源发现概念分散度与锚点敏感性及擦除鲁棒性的关系,提出 SELECT 框架,利用语义相近且属性互斥的兄弟概念构建反事实重定向端点和局部保留集,在抑制目标概念的同时减少副作用和概念重现。实验表明该方法在对象、名人、艺术家风格及 NSFW 等擦除任务上优于固定通用锚点。
推荐理由:通过因果溯源揭示锚点选择对概念擦除的影响,提出基于互斥概念的框架以平衡抑制与保留。