IDPrior:解耦身份生成与面部图像合成
针对大规模带标签人脸数据集采集成本高及隐私伦理问题,本文提出 IDPrior 框架,将身份生成与图像合成解耦。该方法先在预训练人脸识别模型的嵌入空间学习扩散先验以建模面部身份分布并生成新颖身份特征,再以此条件化预训练的身份条件扩散模型进行多张同身份图像合成。
推荐理由:提出 IDPrior 框架解耦身份生成与图像合成,在预训练人脸识别模型嵌入空间学习扩散先验以生成新颖且分布接近真实身份的特征。
技术方向
检测、分割、三维感知、定位与视频理解,以及相机、传感器和视觉工程。
985 条精选近 30 天 659 条共收录 6,653 条
针对大规模带标签人脸数据集采集成本高及隐私伦理问题,本文提出 IDPrior 框架,将身份生成与图像合成解耦。该方法先在预训练人脸识别模型的嵌入空间学习扩散先验以建模面部身份分布并生成新颖身份特征,再以此条件化预训练的身份条件扩散模型进行多张同身份图像合成。
推荐理由:提出 IDPrior 框架解耦身份生成与图像合成,在预训练人脸识别模型嵌入空间学习扩散先验以生成新颖且分布接近真实身份的特征。
arXiv 论文 XM4D 提出一种基于可认证全局最优几何优化的框架,用于准确且高效的 4D 重建。该方法将相机运动估计与非刚性形变分离,分别构建为结构化二次约束二次规划(QCQP)问题,并利用半定规划松弛获得可验证的全局最优性证书。
推荐理由:该工作提出基于可验证全局最优几何优化的框架,在静态与动态场景下实现高精度 4D 重建。
InnerLogic-Surg 是一个由数百万张手术图像持续预训练得到的开源手术视觉编码器家族(参数量 21M--300M),数据源自约 2900 小时的互联网手术视频。
推荐理由:该工作通过持续预训练构建了开源手术视觉编码器家族,在多项基准任务中表现最优,为手术图像分析提供了可迁移的强基座。
PlayGen2 是一个实时交互式世界模型,它将学习的三维状态演化与神经渲染分离开来。该模型维护包含静态几何和实体身份的持久化世界记忆,在固定局部区域内联合学习动作条件化的实体动力学、几何补全和实体发现,并通过独立的神经渲染器合成第一人称观察视角。
推荐理由:PlayGen2 将三维状态演化与神经渲染分离,在 Doom 测试集上实现实时交互与零样本泛化。
OcTreeMamba 是一种将八叉树结构融入状态空间模型(SSM)的框架,旨在解决传统启发式扫描策略破坏三维解剖结构内在层次的问题。该方法通过结构学习器进行解剖自适应结构化稀疏化,利用动态八叉树构建者组织多级别拓扑以保留层级连接性,并基于构建的八叉树使用双向 Tree-SSM 沿感知连接的叶 - 父 - 根轨迹传播和整合上下文特征。
推荐理由:提出 OcTreeMamba,通过八叉树稀疏化实现拓扑感知的长程特征传播,在血管数据集上表现优异。
针对现有方法仅关注雨痕而忽略反射与水洼等关键物理效应的不足,该研究提出 CascadeRS 框架,利用深度和分割先验通过物理启发的零样本生成管线,渲染出包含雨痕、反射及水洼的逼真城市雨天场景。作者构建了 Cityscapes-CascadeRS 数据集以评估下游任务在真实雨天条件下的性能,并通过用户研究与定量指标验证了其在感知真实性与鲁棒性上的优势。代码与数据已开源。
推荐理由:该工作提出 CascadeRS 框架,利用深度与分割先验生成含雨痕、反射与水洼的逼真雨天场景,并开源 Cityscapes-CascadeRS 数据集以评估恶劣天气下的视觉鲁棒性。
BiGrounder 针对图形用户界面(GUI)定位任务,提出一种双向奖励范式以解决传统端到端训练对语言变化鲁棒性不足的问题。该方法在监督微调阶段让模型从目标坐标生成动作描述,并在强化学习阶段采样语义一致的指令变体进行自循环验证,将模型自身的策略转化为持续更新的强化轨迹。
推荐理由:提出双向训练范式,利用模型自身策略生成强化学习轨迹,在五个基准测试中取得竞争性精度。
arXiv 论文提出 SEPT 框架,专为长序列任意点跟踪设计,仅利用事件数据。该方法包含两个模块:任务自适应事件证据调制(TEEM)学习有界可靠性场以加权时空通道特征;持久轨迹先验(PTP)通过边缘化局部二次模型与 Schur 补传递几何信息并修正可见性坐标。
推荐理由:该工作提出仅基于事件相机的长序列点跟踪框架,通过任务自适应证据调制与持久轨迹先验解决稀疏性与漂移问题。
论文提出 FAH(Fast and Accurate Hand Estimation)模型族,基于 SAM 3D Body 手部分支通过微调与特征蒸馏构建。该模型直接预测对应的 2D 和 3D 关节及表面点,拟合 MANO 或 MHR-Hand 网格,并可选估计解剖部位与接触信息(无需物体几何)。
推荐理由:提出 FAH 模型族,通过直接预测 3D 关节与因果细化提升手部估计精度与世界空间追踪能力。
针对第一人称 AI 助手常遇到的短促且指代不明的提问(如“我把它放哪了?”),现有视频问答系统往往直接给出单一解释,导致答案虽合理但与用户真实意图不符。本文介绍 ReferClaw,这是一个代理框架,将第一人称流式问答转化为交互过程:助手在回答前先提出澄清性问题以明确用户意图。
推荐理由:提出交互澄清框架以解决第一人称助手的意图歧义,在基准测试中提升准确率并实现零样本迁移。
论文提出了 MetricTrail 系统,用于从长单目视频中实现精确的相机运动估计和稠密三维重建。该方法复用 DPVO 的稀疏局部估计器,通过引入单图度量深度预测来初始化块深度并作为软约束,显著提升了轨迹精度,且无需重训对应网络或扩大优化窗口。
推荐理由:该工作通过引入单图深度预测与冻结 DINOv3 特征,在不重训对应网络的情况下提升了长序列轨迹估计精度。
针对图像到图像(I2I)扩散模型在多任务学习中的参数干扰与伪影问题,本文提出了 OptIMerge 框架。该方法通过最小化多任务损失函数学习轻量级合并系数,利用架构感知的变换对齐注意力层与卷积层的特征,在冻结专家网络的前提下实现了媲美联合训练的多任务能力。
推荐理由:提出基于优化的多任务融合框架,解决图像修复类扩散模型直接平均导致的伪影问题。
Vision-language classifiers 在仅凭文本学习新标签时,其服务列表持续增长会静默改变基于 softmax 的 conformal scores,进而影响旧标签的决策。
推荐理由:提出 PrefixCP 方法解决标签库增长导致的旧决策漂移问题,兼顾覆盖率保证与历史决策稳定性。
针对远程服务器运行大型视觉语言动作策略时相机上行链路成为瓶颈的问题,本文提出一种零速率条件的运动学假设上下文机制。该方法利用关节状态、机器人模型和相机标定构建自运动单应性、连杆重投影等假设,对上一帧重建结果进行变换以条件化学习视频编码。
推荐理由:提出运动学假设上下文机制,在带宽受限场景下显著降低视频传输码率并提升策略成功率。
Shih-Yao Lin 发布 VideoRouteAudit 审计,在固定骨干网络与解码设置下分离了帧选择、非视觉证据注入和模型路由的影响。全量数据(n=900)显示无测试选择器显著优于均匀采样,最大增益仅 +1.2 分且置信区间包含零;小样本(n=200)评估极不稳定,35.8% 的抽样反转了全量效果。
推荐理由:该审计发现长视频问答的增益主要来自模型切换而非帧选择,且小样本评估极不稳定。
针对文本指令在表达细粒度外观、空间变换和时序动态上的局限,该研究提出了 Visual In-context Editing 新范式,允许用户通过单图、成对图像或成对视频等异构视觉参考指定编辑需求。
推荐理由:VicEdit-400K 数据集与 VicEdit 框架展示了从视觉示例而非纯文本进行视频编辑的新范式,为可控视频生成提供了新的技术路径。
论文 RegimeVGGT 针对多视图图像恢复稠密三维场景结构的 VGGT 模型,提出无需训练的层级压缩方案以解决二次交叉帧注意力带来的扩展性瓶颈。研究通过频谱、探测和因果分析发现浅层缺乏跨视角结构、中层驱动对齐、深层对几何冗余但保留姿态关键路径的规律。
推荐理由:该文提出无需训练的层级压缩方法,在保持重建质量的同时将 VGGT 推理速度提升 6.7 倍。
论文介绍 POTATR(Page-Object Table Transformer),这是一个拥有 2900 万参数的轻量级图像到图模型,旨在解决大规模文档处理中需要上下文感知的表格提取问题。
推荐理由:POTATR 以轻量级架构在表格提取基准上超越前沿多模态大模型,且具备空间定位能力与低成本推理优势。
arXiv 论文《Faces in Things, Faces in Nothing》利用 FacesInThings 数据集测试了六种视觉模型,探究其将模糊视觉证据转化为类别判断的机制。
推荐理由:该研究通过 FacesInThings 数据集揭示了视觉模型将模糊证据转化为类别判断的机制,发现不同模型对“人脸”的定义存在默认偏差。
该论文介绍了一种名为 Dual Flow 的新型联合流模型,旨在通过同时估计干净图像及其对应的无噪测量来解决线性逆问题。该方法将图像重建与测量去噪构建为耦合估计问题,仅利用获取的含噪测量初始化状态,随后在图像和测量域中联合更新状态,确保最终结果满足底层前向模型。
推荐理由:提出联合图像与测量域流模型,无需超参数调优即可在多种线性逆问题中实现更短的重建时间。