跳到正文

技术方向

计算机视觉 最新动态

检测、分割、三维感知、定位与视频理解,以及相机、传感器和视觉工程。

985 条精选近 30 天 659 条共收录 6,653 条

更新

精选归档 · 第 28 页

10月26日周一第 541–560 条
  1. arXiv · 机器人与计算机视觉80

    LOCI:面向多主体图像编辑的局部化连续控制方法

    LOCI 是一种针对多主体图像编辑的新方法,解决了现有工具在编辑位置、强度和同时控制多个主体方面的不足。该方法结合主体级注意力绑定与区域 LoRA 层,允许对每个主体进行独立且可连续调节强度的编辑(例如逐渐变老某个人并为另一个人添加胡须),同时显著减少跨区域干扰。相关代码或模型未在当前材料中提供下载链接。

    推荐理由:该工作提出了一种支持多主体独立连续强度编辑的方法,通过区域 LoRA 层实现空间隔离与精细控制。

  2. Hugging Face Daily Papers82

    跨模态 Steering 向量在图像与文本生成中均存在

    该研究探讨了当前 AI 模型中概念与机制是否在不同模态间统一实现的问题。通过寻找能成功引导一种模态(如文本)生成的向量,并验证其能否零样本迁移到另一种模态(如图像),研究发现跨模态 Steering 在双向上均有效。

    推荐理由:该预印本通过跨模态 Steering 向量实验,证实了统一多模态模型中语言与图像生成的概念机制存在零样本迁移。

10月23日周五
  1. arXiv · 机器人与计算机视觉78

    如何在不遗忘旧能力的前提下为大多模态模型教授新技能

    论文研究如何在向大语言视觉模型(LMMs)教授新技能时避免遗忘先前的通用能力。实验发现,仅更新自注意力投影层或 MLP 门控与上采样层的微调策略,在保持学习能力的同时大幅减少了遗忘现象,性能优于全量微调及多种现有缓解方法。该结论在 LLaVA-OneVision、LLaVA-NeXT 和 Qwen2.5-VL 等多个模型系列上得到验证。代码将公开。

    推荐理由:研究发现仅更新自注意力投影层或 MLP 门控即可在提升新技能学习能力的同时显著抑制遗忘,且无需回放或辅助参数。

  2. arXiv · 机器人与计算机视觉82

    MMVistaReason:面向开放数据与后训练的多模态推理配方

    针对多模态推理中数据质量不均、监督效率低及跨域干扰等问题,作者提出 MMVistaReason (MVR) 这一开放数据后训练配方。

    推荐理由:提出开放数据后训练配方,通过分阶段清洗、难度感知蒸馏及多教师在线蒸馏实现能力整合,在 15 个基准上超越 Qwen3.5-9B 等模型。

  3. arXiv · 机器人与计算机视觉78

    BRIDGE:用于粗粒度掩码局部编辑的背景路由与隔离离散门控

    本文介绍 BRIDGE 方法,通过双路径架构和可学习二值门控,将主体位置嵌入路由至以主体为中心或以背景为锚点的坐标,解决现有掩码编辑器纠缠目标的问题。

    推荐理由:提出双路径架构与离散门控机制,在保持背景的同时提升局部编辑精度。

  4. arXiv · 机器人与计算机视觉84

    SpatialMem:面向语言定位与问答的度量对齐长视界视频记忆系统

    SpatialMem 是一个整合 3D 几何、语义和语言的统一可查询表示的记忆系统。该系统基于随意录制的以自我为中心的 RGB 视频重建度量缩放的室内场景,识别结构锚点(墙、门、窗)作为底层支架,并将开放词汇对象节点与证据片段、视觉嵌入及两层描述关联到 3D 坐标,从而实现无需特殊传感器的空间关系推理、语言导向检索和问答。

    推荐理由:该工作提出融合几何与语义的可查询记忆系统,在无需特殊传感器的条件下实现长视频的空间推理与问答。

  5. arXiv · 机器人与计算机视觉78

    RiskCueBench:基于早期风险线索的视频语言模型前瞻性推理基准

    RiskCueBench 是一个新的视频理解基准,旨在评估视频语言模型从早期视觉信号中预测未来风险事件的能力。现有数据集常包含事故本身导致任务过易,而该基准通过标注最早的风险信号片段来模拟真实世界条件。实验结果显示当前系统在此类前瞻性推理上存在显著差距,突显了部署此类模型的挑战。材料为预印本版本,未提及同行评审状态或具体开源许可细节。

    推荐理由:该基准通过标注早期风险信号片段,揭示了现有视频模型在从早期视觉线索预测未来风险事件方面的显著能力差距。

  6. arXiv · 机器人与计算机视觉82

    OmniRay:基于复合射线场的相机无关单目 3D 重建

    论文提出 OmniRay 模型,通过单调径向基底、球谐残差和自由形式残差的组合表示射线场,实现无需相机参数的单目 3D 重建。实验表明该方法在不同相机配置下达到新的最先进水平。材料为 arXiv 预印本,未提及同行评审状态或开源代码链接。

    推荐理由:该工作提出分层射线场架构,解决针孔与广角相机几何差异问题,为单目无相机参数重建提供新基线。

  7. arXiv · 机器人与计算机视觉82

    UniVOE:一种面向交互感知的通用视频对象编辑的移除驱动框架

    该论文提出了 UniVOE 框架,旨在统一训练视频对象移除和注入模型。方法首先利用视频修复先验训练一个感知效果的移除器,将含物视频转换为无物版本以构建大规模配对监督数据;随后在反向方向上训练注入模型以恢复物体及其动态与交互效果;最后引入基于奖励的后训练方法对齐人类偏好。实验表明该框架在对象移除和注入任务上均达到最先进水平,尤其在处理复杂的交互效应方面表现突出。

    推荐理由:提出以移除驱动的统一框架,利用视频修复先验解决注入任务的大规模配对监督难题,在交互效应场景下达到开源与商业系统领先水平。

  8. arXiv · 机器人与计算机视觉80

    WorldForge V2:激发视频扩散模型中的相机 - 轨迹对齐

    论文提出了 WorldForge V2 方法,旨在解决视频扩散模型在空间任务中相机控制不精确及时空不一致的问题。该方法采用无需训练的引导框架,利用 warped references 迭代优化生成过程,并通过光流分析分离运动控制与外观特征。

    推荐理由:提出无需训练的引导框架与轨迹 LoRA,在视频扩散模型中实现精确相机控制并保留生成能力。

  9. arXiv · 机器人与计算机视觉85

    F2G-Pose:面向类别级物体位姿估计的几何感知基础特征提升方法

    该论文提出 F2G-Pose 框架,旨在解决无需实例特定 CAD 模型或参考视图的类别级 RGB-D 物体位姿估计难题。该方法通过单次前向传播预测类别级位姿、度量尺寸及相机坐标系下的完整形状,利用 DGCNN 编码局部几何并集成专家混合 Transformer。

    推荐理由:该工作提出 F2G-Pose 框架,在无需实例 CAD 模型下实现类别级物体位姿估计与形状补全,代码与预训练模型已开源。

  10. arXiv · 机器人与计算机视觉78

    Ask About the Right Moment:训练自由型物体身份推理用于视频语言模型

    该研究针对视频语言模型难以在时间序列中区分同一物体的问题,提出了'Track, Then Bind'的无需训练方法。通过可提示的视频追踪器固定候选对象并编号,再由冻结的视觉 - 语言模型对识别证据进行静态问答以绑定目标与轨迹,最终基于追踪状态推导答案。

    推荐理由:提出无需训练的'先追踪后绑定'方法,解决视频语言模型在长时序物体身份维持上的难题。

  11. arXiv · 机器人与计算机视觉78

    一种用于可扩展跨会话室内导航的稀疏拓扑度量图

    该论文提出稀疏拓扑度量图作为室内环境的高效结构表示,通过节点编码局部 3D 几何、边捕获可通行连通性,利用学习到的图匹配网络在跨会话中建立稳定对应。实验显示该方法在 Gibson 数据集上达到 77.1% 的成功率,在 3D-FRONT 场景变化下为 40.0%,内存占用比点级表示减少两个数量级以上,支持跨会话对齐与目标导向导航。

    推荐理由:提出稀疏拓扑度量图方法,在跨会话室内导航任务中实现高成功率并大幅降低内存消耗。

  12. arXiv · 机器人与计算机视觉78

    GM-GReFEL:面向鲁棒动态面部表情识别的几何引导时空状态空间学习

    针对无约束视频中的面部表情识别问题,该研究提出 GM-GReFEL 模型,采用 Modulated GroupMamba 骨干网络将计算复杂度从二次方降至线性,并引入 GReFEL 可靠性模块利用可训练几何锚点提升不确定区域的判断。实验显示其在 DFEW 和 MAFW 数据集上达到 SOTA 水平,且延迟接近 ViT-B/16 基线。代码已开源。

    推荐理由:该工作提出几何引导的状态空间网络,以线性复杂度替代自注意力机制并引入可靠性模块,在 DFEW 等基准上表现优异。

  13. arXiv · 机器人与计算机视觉78

    长描述在何处失效?基于位置感知的诊断与强化学习用于详细图像描述

    该研究指出自回归视觉语言模型生成的长描述存在位置性失效:中部易产生无依据的具体细节,尾部则转向模糊的非证据性语言。作者提出 PAGER 框架,通过位置感知 rubric 分解人类参考并验证生成内容,利用 GRPO 训练目标分别优化中位证据、尾部延续及长度控制。实验表明该方法在提升位置级定位与成对偏好排序的同时保持了全局描述质量。论文已被 NeurIPS 2026 接收。

    推荐理由:提出位置感知诊断框架与强化学习目标,揭示长描述中位部幻觉与尾部泛化的不同失效模式。

  14. arXiv · 机器人与计算机视觉78

    一种用于多视图医学图像分割的通用双路径交互框架:缓解小样本依赖

    针对医学图像分割在小样本场景下性能下降的问题,作者提出 DPIF 通用双路径交互框架。该框架兼容任意编码器 - 解码器网络,利用跨视图解剖互补性减少标注依赖。方法包括基于 Sinkhorn 最优传输的跨视图分布对齐、条件互信息引导的特征解耦以及基于持久同调的拓扑正则化。

    推荐理由:提出通用双路径交互框架,通过拓扑正则化缓解小样本依赖,在心脏超声等数据稀缺场景下实现多视图分割性能提升。

  15. arXiv · 机器人与计算机视觉85

    RECAP:单次观看不足以支撑视觉语言推理

    针对长思维链推理中模型偏离图像证据且强化学习仅提供最终奖励的问题,本文提出 RECAP 方法。该方法将视觉重访痕迹转化为信用分配信号,无需额外奖励或推理时改动,即可在 Qwen2.5-VL-7B、InternVL3-8B 和 LLaVA-OV-7B 等模型上提升图像 grounding 推理能力并保留文本性能。

    推荐理由:提出 RECAP 方法,利用视觉重访信号优化 GRPO 训练,提升多模型在图像 grounding 上的推理准确率。

  16. arXiv · 机器人与计算机视觉78

    FilmFlow:用于三维虚拟电影摄影的智能体系统

    论文介绍 FilmFlow,这是一个将自然语言指令或参考视频转换为动态三维环境中明确相机轨迹的智能体框架。系统由导演智能体主导,协同解释器、侦察员和评论家三个专用智能体,通过组合原子操作控制平移、旋转和构图。

    推荐理由:该工作提出 FilmFlow 智能体框架,将自然语言或参考视频转化为可执行的三维相机轨迹,并在 CinemaBench 基准上表现最优。

  17. arXiv · 机器人与计算机视觉83

    ShadowBench:诊断 VLMs 的阴影推理缺陷及从图像生成模型借用缺失先验

    论文介绍了 ShadowBench 基准,该基准基于真实照片构建正确、无阴影和错误方向三种状态,用于评估视觉语言模型(VLMs)对阴影方向的读取、缺失阴影推断及物理一致性判断能力。

    推荐理由:该研究揭示了 VLMs 在阴影推理上的短板,并证明利用图像生成模型作为先验可显著提升其物理一致性判断能力。

  18. arXiv · 机器人与计算机视觉85

    Learning from Next-Frame Prediction: Towards Unified and Scalable Visual World Modeling (arXiv:2610.30724)

    论文提出 VANE 框架,利用冻结语义分词器提供的固定嵌入空间进行下一帧预测,通过因果编码器总结过去观测以推断整个下一帧的表示,并辅以轻量生成解码器重建细粒度细节。

    推荐理由:该工作提出基于嵌入空间的下一帧预测框架 VANE,在统一图像与视频建模及动作预期任务上取得 SOTA 效果。