跳到正文

技术方向

计算机视觉 最新动态

检测、分割、三维感知、定位与视频理解,以及相机、传感器和视觉工程。

985 条精选近 30 天 659 条共收录 6,653 条

更新

精选归档 · 第 14 页

11月5日周四第 261–280 条
  1. arXiv · 机器人与计算机视觉78

    基于 Filippov 神经网络与熵最优传输的相关性传播:Sinkhorn 传播与图像分类器中的区域相关性

    该论文证明相关性传播是单一变分问题的解,建立了层间相关性传播的测度论形式化框架。研究提出了 LRP_0、LRP_z+ 等规则的统一形式 LRPN_alpha,beta,并引入 Sinkhorn 相关性传播新规则。在 VGG-16 和 ConvNeXt-Tiny 模型上验证了守恒律及不同规则的忠实度与定位能力差异。

    推荐理由:文章将相关性传播形式化为熵最优传输问题,提出基于 Filippov 算子的理论框架及 Sinkhorn 等新规则。

  2. arXiv · 机器人与计算机视觉82

    同一布局不同数量:文生图模型中‘十’以上的数字词失效研究

    该论文研究了五个开源文生图模型(包括 SD3.5-M、FLUX 系列和 Qwen-Image)在生成物体数量超过十个时的表现。实验发现,一旦请求中的物体数量超过约十个,所有模型都会停止遵循具体的数字指令,其生成的图像布局主要由初始噪声的粗粒度部分决定,而非数字词本身。研究还指出,当物体数量超过十时,精确匹配分数难以区分遵循指令与忽略指令的模型,而相对误差评分甚至可能偏好常数猜测值十六。

    推荐理由:研究揭示文生图模型在物体数量超过十时失去计数能力,且噪声布局比数字指令更能决定构图。

  3. arXiv · 机器人与计算机视觉78

    TailSteer:一种用于抗漂移的多轮图像编辑的轨迹尾部引导方法

    针对多轮图像编辑中因输出复用导致的小误差累积成严重视觉漂移的问题,TailSteer 提出了一种最终阶段训练框架。该方法遵循简单原则:保持早期去噪动力学接近基座模型,仅在轨迹末端集中进行修正以抑制细粒度偏差。

    推荐理由:TailSteer 框架在保留基座模型能力的前提下,通过轨迹末端修正显著降低了多轮编辑中的累积漂移。

  4. arXiv · 机器人与计算机视觉82

    CoDecide:面向高吞吐视频分析的自适应内容解码方法

    针对视频档案分析中解码耗时的问题,该方法引入 CoDecide 系统,仅对出现新内容的帧进行解码。通过监督一个轻量级学生模型学习来自冻结 DINOv2 教师模型的无标签新颖性信号,该系统能区分运动与场景中新出现的物体,从而在无需针对每台相机重新训练的情况下实现泛化。

    推荐理由:提出一种利用冻结教师模型信号在压缩域识别新内容的解码策略,显著降低视频分析算力开销。

  5. arXiv · 机器人与计算机视觉78

    NanoKV:面向自回归视频生成的高比率 KV 缓存压缩方法

    针对自回归视频模型在长序列生成中的显存与计算瓶颈,论文提出 NanoKV 框架,通过冻结骨干网并利用 Token 与注意力头的冗余性实现高比率 KV 缓存压缩。

    推荐理由:NanoKV 提出冻结骨干网的高比率 KV 缓存压缩框架,在视频生成任务中显著降低显存占用并提升推理速度。

  6. arXiv · 机器人与计算机视觉78

    FlashRelight:一种面向动态光照的人像视频重绘方法

    FlashRelight 是一种用于人像视频动态重光照的新颖两阶段框架,旨在修改视频照明同时保持照片级真实感和时间稳定性。该方法首先通过 delighting 抑制源光照,然后在去光照化的人像视频上合成目标动态光照。

    推荐理由:FlashRelight 提出两阶段框架解决动态光照人像视频重绘,支持环境贴图、文本语义及参考视频三种控制模态。

  7. arXiv · 机器人与计算机视觉83

    Prism:面向统一多模态模型的双向自我教学方法

    该论文提出了 Prism 方法,旨在通过双向自我教学改进统一多模态模型(UMMs)的理解与生成功能。该方法将耦合的交错轨迹解耦为文本链和图像链,并根据其可靠性构建训练目标。在 SenseNova-U1 和 BAGEL 上的实验显示,GenEval、DPG、MME 及 MMVP 等指标均有提升。研究强调无需外部验证器或标注修正轨迹即可实现能力协同增强。

    推荐理由:提出基于自生成轨迹双向监督的 UMMs 后训练方法,无需外部验证器即可提升理解与生成能力。

  8. arXiv · 机器人与计算机视觉78

    MonoLaDN:语言引导的单目 3D 目标检测去噪框架

    MonoLaDN 是一种针对单目 3D 物体检测的去噪框架,旨在解决仅从图像特征学习几何导致的 ill-posed 问题。该方法在训练阶段利用冻结的视觉语言模型(VLM)生成关于遮挡、深度、尺寸和角度的结构化推理,将其编码为查询并加入噪声,训练检测器重构干净推理以内部化 VLM 的几何先验。

    推荐理由:该工作提出利用冻结 VLM 的几何推理进行去噪训练,使单目检测器内化高层语义先验且无额外延迟。

  9. arXiv · 机器人与计算机视觉78

    NEXTGAN:面向图像与视频生成的简单可扩展 GAN 训练方法

    NEXTGAN 提出一种新的 GAN 训练框架,通过回归冻结表示空间插值点处参考特征与生成特征之间的位移来训练标量判别器。该方法在固定生成器的情况下等价于带有梯度能量惩罚的对抗目标,同时保留生成器的标准基于势函数的更新机制。

    推荐理由:NEXTGAN 通过回归输入梯度到特征位移的方法训练标量判别器,无需辅助损失或在线教师分数即可适配预训练生成器。

  10. arXiv · 机器人与计算机视觉83

    SleuthVLM:我们真的需要视频中的音频吗?

    论文提出 SleuthVLM,这是一个基于视觉语言模型的智能体系统,无需直接处理音频即可回答视频相关问题。系统将语音转录为文本后,由 VLM 自主分析长达 90 分钟的视频内容。

    推荐理由:该研究提出无需直接处理音频的 SleuthVLM,在多项基准测试中超越主流闭源模型,证明智能体能力比多模态对齐更关键。

  11. arXiv · 机器人与计算机视觉78

    RI-Prune:面向多图像视觉语言模型的感知与信息 aware 视觉 Token 剪枝

    针对大视觉语言模型处理多张输入图像时视觉 Token 预算激增的问题,现有基于注意力的剪枝方法在多图基准上表现不佳且存在位置偏差。本文提出 RI-Prune,这是一种无需训练、不依赖注意力机制的预解码器选择器。

    推荐理由:针对多图像场景下注意力机制失效问题,提出无需训练的 RI-Prune 方法,通过查询相关性与跨图对应关系实现更优的视觉 Token 剪枝。

  12. arXiv · 机器人与计算机视觉78

    ChanSFormer:一种用于多通道细胞绘画图像的通道无关视觉 Transformer

    针对高内容多通道成像中实验配置频繁演变的问题,本文提出了 ChanSFormer,这是一种高效的 Vision Transformer,用解耦的空间 - 通道注意力替换了僵化的可学习通道嵌入,并引入独立通道 CLS token。该方法原生保留通道身份与跨通道信息流,在 JUMP-CP 数据集分类准确率上优于最先进方法 3.93%-4.27%,并在自监督设置下展现出卓越的跨数据集迁移能力。

    推荐理由:提出 ChanSFormer,通过解耦空间 - 通道注意力解决多通道图像处理的通道依赖问题。

  13. arXiv · 机器人与计算机视觉78

    FedIA:面向联邦提示学习的实例感知跨模态表示方法

    论文提出 Federated Prompt Learning with Instance-Aware Cross-Modal Representations (FedIA) 框架,旨在解决现有联邦提示学习方法仅支持客户端级个性化而忽视样本间视觉差异的问题。

    推荐理由:提出 FedIA 框架,将联邦提示学习从客户端级个性化推进到实例级,通过自适应融合模块提升跨域与标签偏斜下的性能。

  14. arXiv · 机器人与计算机视觉78

    CLEAR:面向单图去反光的颜色纹理潜空间对齐方法

    针对透过玻璃拍摄的单图去反光任务,本文提出 CLEAR 框架,利用预训练潜扩散模型作为自然图像先验,并通过物理引导分离器和混合特征对齐模块处理反射干扰。该方法在六个真实世界基准测试中取得了最佳的平均保真度和感知指标,且在所有数据集上实现了最低的 LPIPS 分数。

    推荐理由:提出 CLEAR 框架解决单图去反光难题,在六个真实基准上表现最佳。

  15. arXiv · 机器人与计算机视觉78

    FLINT:通过邻近初始化与有界随机性耦合解决流匹配逆问题

    该论文针对成像逆问题中的流匹配生成后验采样提出 FLINT 框架。现有方法将轨迹空间优化与源空间初始化视为独立设计,而本文证明二者存在内在耦合并推导了统一稳定性界限。FLINT 通过两步法实现:首先利用流形约束的邻近目标函数在少量迭代内建立高保真起点,随后在受限随机性调度下执行引导采样以防止优势被噪声侵蚀。实验显示该方法在多种逆问题中实现了感知质量的最优和计算效率的优越性。

    推荐理由:FLINT 提出将初始化邻近性与采样随机性耦合的新框架,在保持高保真起点的同时通过受限噪声注入提升逆问题求解效率。

  16. arXiv · 机器人与计算机视觉82

    Feature Puzzles:基于单图监督的多视角 3D 感知分割新框架

    论文介绍 Feature Puzzles 框架,利用图像裁剪与几何变换构建多视角一致分割伪标签,结合预训练 3D 基础模型特征实现无需视频或标定数据的单图监督学习。该方法在 NVOS、SPIn-NeRF 和 ScanNet++ 上达到最佳 mIoU 并保持竞争力,同时支持零样本迁移至开放词汇 3D 分割任务。

    推荐理由:提出仅用单图监督即可学习多视角一致分割的新框架,在 NVOS 等基准上表现优异且支持零样本开放词汇扩展。

  17. arXiv · 机器人与计算机视觉78

    WayPOP:一个基于真实 Waymo 数据的全景开放集泛化追踪基准

    WayPOP 是一个全景开放集泛化追踪基准,旨在评估智能体对固定语义分类之外物体的分割与追踪能力。该基准基于真实的 Waymo PVPS 序列,并插入了来自 Objaverse 的约 670 个经过筛选的非分类资产(共生成 980 条唯一未知物体轨迹),利用车载相机渲染出包含 53,452 个掩码标注和激光雷达观测数据的跨视角一致数据。

    推荐理由:该基准填补了全景开放集追踪的空白,揭示了现有方法在未知物体跨视角关联上的局限。

  18. arXiv · 机器人与计算机视觉78

    Decompose the Distillation:可解释的单步引导用于扩散模型

    论文介绍了一种名为 CtrlFlow 的扩散模型推理时间引导新方法,旨在解决传统分类无关引导(CFG)需要双次前向传播的问题。该方法通过冻结骨干网络并附加两个轻量级 LoRA 适配器,在单次前向传播中同时输出可解释的基流和引导方向,从而保持与 CFG 相同的接口灵活性且无需重新训练。为对齐推理时的误差放大特性,工作采用了统一的多尺度蒸馏损失、尺度自适应调制和时间网格扭曲等技术来优化训练与求解过程。

    推荐理由:提出单步引导方法 CtrlFlow,通过轻量适配器保留扩散模型的可解释基流与引导方向接口,支持推理时调节且无需重训。

  19. arXiv · 机器人与计算机视觉78

    基于认识不确定性的 3D LiDAR 点云语义分割模型训练效果研究

    Krishnakumar N 和 Jaya Sreevalsan-Nair 在 arXiv 发布论文,研究了将认识不确定性作为特征输入或损失函数权重在 3D LiDAR 点云语义分割中的不同作用。

    推荐理由:该工作探索了认识不确定性在语义分割中的多重角色,发现其不仅能提升精度,还能恢复基线模型无法预测的少数类。

  20. arXiv · 机器人与计算机视觉82

    SO3brep:一种基于 CAD 边界表示的 SO(3)-等变学习图神经网络

    针对 CAD 模型非规范朝向导致现有网络鲁棒性不足的问题,本文提出 SO3brep,这是一种在 B-rep 面邻接图上运行的 SO(3)-等变图神经网络。该方法通过 Wigner D-矩阵将局部特征映射至共享帧,并利用 Clebsch-Gordan 张量积耦合相邻面方向以保留相对取向,确保输出对 SE(3) 变换不变。

    推荐理由:提出 SO3brep 图神经网络,利用 Wigner D-矩阵与 Clebsch-Gordan 张量积在 B-rep 上实现 SE(3) 不变性,在少样本 CAD 分割任务中表现最优。