跳到正文

技术方向

计算机视觉 最新动态

检测、分割、三维感知、定位与视频理解,以及相机、传感器和视觉工程。

985 条精选近 30 天 659 条共收录 6,653 条

更新

精选归档 · 第 30 页

10月22日周四第 581–600 条
  1. arXiv · 机器人与计算机视觉78

    Generalized CycleGRPO:首个统一强化学习框架用于细粒度多模态理解与定位

    该论文提出了 Generalized CycleGRPO,这是首个将区域理解与定位耦合在空间、时间及时空域的统一强化学习框架。模型利用重建重叠度作为可验证奖励来优化描述生成,并通过个体定位奖励改进逆映射。

    推荐理由:提出首个统一强化学习框架,通过区域理解与定位的循环一致性实现细粒度多模态自评估。

  2. arXiv · 机器人与计算机视觉78

    超越捷径学习:面向人脸伪造检测的分层空间原型正则化

    论文指出通用深度伪造检测器难以适应未见过的操作流水线,且法证表征易受数据集中特定伪影影响而崩溃。为此提出分层空间原型(HSP)正则化方法,通过构建结构化原型子空间显式建模伪造流形,并引入原型正交性与二阶分配平衡以保留潜在因子的几何独立性、提升表征秩利用率。

    推荐理由:针对深度伪造检测中法证表征不稳定的问题,提出分层空间原型正则化方法,在跨数据集与跨操作设置下显著提升泛化性能。

  3. arXiv · 机器人与计算机视觉82

    编码但未使用:界定 VLM 错误的来源

    本文研究视觉语言模型(VLM)产生错误的原因,将其分解为视觉表征失败和视觉利用失败两类。作者提出了基于排名的 VELens 探针,用于追踪目标对象及其属性在模型各层的视觉证据,并估计视觉利用失败率。实验显示,该方法能准确诊断错误来源,发现视觉利用不足是 VLM 的主要瓶颈,建议未来改进方向在于开发更好的机制来定位、路由和使用已编码的视觉信息。

    推荐理由:提出 VELens 探针量化 VLM 错误来源,发现视觉利用不足是主要瓶颈。

  4. arXiv · 机器人与计算机视觉78

    DriftNeRF:一种解决稀疏视角神经辐射场密度不一致问题的正则化方法

    论文 DriftNeRF 指出传统 NeRF 在稀疏视角下因缺乏射线间密度比较机制而导致渲染质量下降。作者提出一种无需预训练模型、外部几何或额外图像即可使用的 drop-in 正则化器,通过掩蔽指数核聚合邻近点密度以生成停止梯度的共识目标,从而惩罚未支持的密度分歧并保持边界完整。

    推荐理由:DriftNeRF 通过显式测量并惩罚射线间密度不一致,解决了稀疏视角 NeRF 的缺陷,无需预训练模型即可提升 PSNR。

  5. arXiv · 机器人与计算机视觉82

    OccJEPA:以遮挡为掩码的无模态视频分割方法

    该论文提出 OccJEPA 方法,将无模态视频分割任务转化为世界模型预测问题,利用预训练的 V-JEPA 2.1 填补被遮挡区域特征,实现确定性推理。相比基于扩散模型的基线,该方法在 SAIL-VOS、TAO-Amodal 等基准上速度提升 33.5 倍且精度更高(+4.00 AP50),代码已开源。

    推荐理由:将遮挡视为掩码利用预训练世界模型实现无模态视频分割,速度提升 33.5 倍且精度优于扩散基线。

  6. arXiv · 机器人与计算机视觉78

    单图食物质量估计器无法跨数据集迁移其克级尺度

    该研究在 Nutrition5k 等四个数据集上对比了微调后的 DINOv2-base 与零样本 Qwen3-VL-32B,发现前者虽在本域误差更低,但在外部数据集表现不优于后者。

    推荐理由:研究指出单图食物估重模型无法跨数据集迁移,且存在场景依赖与食物特异性偏差。

  7. arXiv · 机器人与计算机视觉78

    超越正确答案:组合线索如何塑造视觉判断

    针对视觉问答中的视觉绑定问题,本文通过固定图像与陈述的对照实验,分析了对象角色、关系等字段标签在不同模型上的差异化效果。研究发现,添加对象角色标签对 Qwen3 有利但对 Qwen2 有害,且保留提示词的优势主要源于避免错误互换;更清晰的提示词虽提升文本匹配但未必改善视觉判断,而直接选择图像中的关系则能部分降低特定提示下的误差。

    推荐理由:该研究通过控制变量实验揭示了结构化提示中不同标签对视觉绑定任务的具体影响,为优化多模态模型指令提供了实证依据。

  8. Hugging Face Daily Papers82

    ALPS:用于世界模型的视觉状态编码器

    ALPS 是一种预训练的视觉状态编码器,旨在将物理状态信息、原生语言对齐和像素重建能力统一于单一的 patch token 表示中。研究团队仅使用静态图像和文本数据,从 scratch 预训练了 ViT-B/16 模型,并通过跨视图自蒸馏进行优化。

    推荐理由:该预训练视觉状态编码器统一了物理状态、语言对齐与像素重建,在多项基准上实现最优聚合误差并支持下游策略规划。

  9. Hugging Face Daily Papers82

    DirCast:基于单一流式视频语言模型的实时电竞导播与解说

    论文 DirCast 提出一种单流式视频语言模型,能够仅凭过去画面同时完成多机位导播决策与实时解说。该模型每秒以低分辨率扫描所有摄像头决定切换,再以高分辨率读取选定画面进行语音生成,并通过上下文管理控制计算成本。

    推荐理由:该工作提出单流视频语言模型同时完成直播导播与解说,在 Dota 2 数据集上表现优于规则基线与零样本方法。

10月21日周三
  1. arXiv · 机器人与计算机视觉82

    基于赤字驱动的分层采集构建 STRATA-S12:一个用于自监督学习的开源 SAR-光学语料库

    该研究针对合成孔径雷达与光学卫星数据配准中存在的地理缺失问题,提出了一种名为 DDSA 的算法,通过分层配额控制、严格时间配对及人机协同修复机制来优化数据采集。实测显示,该算法在部分预算下即可覆盖所有分层,且修复循环提供了近四成的有效样本对。作者公开了 STRATA-S12 语料库及其元数据侧车,预注册线性探针检查证实其适用于自监督预训练任务。

    推荐理由:作者提出一种分层采集算法以解决多模态遥感数据的地理缺失问题,并公开了包含修复机制的自监督预训练语料库。

  2. arXiv · 机器人与计算机视觉82

    PURE:利用无标签数据优化前馈式三维重建

    PURE 是一种无需真值监督的后训练细化框架,旨在解决现有前馈式三维重建模型在处理动态真实世界视频时因非刚性运动、遮挡和光照变化而表现脆弱的局限。该方法通过蒸馏最先进的 2D 先验中的鲁棒结构知识至 4D 前馈架构,利用相对深度约束、仿射不变几何蒸馏及基于特征对应的姿态细化来稳定几何预测。

    推荐理由:PURE 框架利用无标签数据进行后训练,通过蒸馏 2D 先验知识提升模型在动态场景下的深度与姿态估计鲁棒性。

  3. arXiv · 机器人与计算机视觉78

    EMERGE:一种基于等变图扩散的分辨率无关点云生成方法

    论文介绍 EMERGE 框架,这是首个专为点云生成设计的完全 SE(3) 等变图神经网络扩散主干网络。该方法克服了现有 Transformer 和 VAE 架构忽略 3D 空间连续非网格拓扑的问题,通过引入几何归纳偏置实现了分辨率无关的零样本推理,并在标准指标上达到最先进质量且训练收敛更快。

    推荐理由:提出首个基于 SE(3) 等变图神经网络的点云生成框架,实现分辨率无关的零样本推理与更快的训练收敛。

  4. arXiv · 机器人与计算机视觉78

    DriveVLA-M0:面向自动驾驶的失败感知记忆增强方法

    论文提出 DriveVLA-M0,一种带失败感知隐式记忆的检索增强视觉语言动作模型。该方法构建存储失败案例及场景结构表示的记忆池,设计专用检索模型解耦静态道路结构与动态交互以支持结构化检索。

    推荐理由:提出带失败感知隐式记忆的检索增强 VLA,在 NAVSIMv1/v2 基准上提升性能且仅增加 26.44ms 推理开销。

  5. arXiv · 机器人与计算机视觉84

    DRAPE:面向多模态持续指令微调的动态跨模态提示生成

    针对多模态大模型在多任务场景下的持续学习问题,现有方法存在实例级适应性不足和灾难性遗忘的局限。本文提出 DRAPE 框架,通过从文本指令推导查询并交叉关注视觉特征来合成实例特定的软提示,同时利用空空间梯度投影和基于 CLIP 的原型路由机制缓解遗忘。实验表明该方法在持续学习基准上达到最先进水平,代码已开源。

    推荐理由:提出 DRAPE 框架,通过实例级跨模态提示生成与梯度投影缓解遗忘,在 MCIT 基准上达到 SOTA。

  6. arXiv · 机器人与计算机视觉78

    HERMES++:面向三维场景理解与生成的统一自动驾驶世界模型

    针对现有方法侧重未来生成而忽视三维理解、大语言模型缺乏几何演化预测能力的差距,该研究提出 HERMES++ 统一驾驶世界模型。通过鸟瞰图表示整合多视角信息、LLM 增强世界查询促进知识迁移、当前到未来链接桥接时间差以及联合几何优化确保结构完整性,该方法在多个基准测试中表现优于专用方法,同时实现未来点云预测与三维场景理解任务的高性能。论文已被 IEEE TPAMI 接收,代码与模型将公开。

    推荐理由:该工作提出统一框架融合三维场景理解与未来几何预测,填补语义解释与物理模拟间的差距。

  7. arXiv · 机器人与计算机视觉82

    TrajTok:学习轨迹 Token 提升视频理解能力

    针对视频模型中 Patch 分词冗余且效率低的问题,论文提出 TrajTok 模块,通过端到端联合训练实现动态粒度视频分词,无需依赖外部分割与追踪管道。该模块包含统一的分段器,能在单次前向传播中直接生成物体轨迹,优先适配下游任务而非追求像素级精度。

    推荐理由:提出 TrajTok 模块,通过端到端联合训练实现动态粒度视频分词,在长视频推理与检索基准上优于现有方法。

  8. arXiv · 机器人与计算机视觉78

    PISA:分段稀疏注意力更明智——用于高效扩散 Transformer

    论文提出 PISA,一种无需训练的 Piecewise Sparse Attention 方法,旨在解决扩散 Transformer 的二次复杂度瓶颈。该方法发现非关键块注意力分数具有分布稳定性,采用“关键块精确计算、其余块通过块级泰勒展开近似”的策略,而非直接丢弃信息。

    推荐理由:提出无需训练的 PISA 方法,通过分段泰勒展开近似非关键块注意力,在 Wan2.1、Hunyuan-Video 及 FLUX 上实现加速并保持最高生成质量。

  9. arXiv · 机器人与计算机视觉78

    ChartEvo:一种用于长尾图表推理的递归自进化智能体框架

    该论文提出了 ChartEvo 框架,旨在解决多模态大语言模型在长尾图表类型上性能不均的问题。通过经验驱动的层级自改进机制,框架联合演化可复用的图表专用技能与可执行工具,并学习局部工具调用链以组合能力与控制推理开销。实验显示,在 ChartBench 和 ChartX 数据集的长尾图表任务中,该方法相比基线模型 Qwen3.7-Plus 分别提升了 45.6% 和 32.5% 的准确率。

    推荐理由:针对长尾图表推理任务,提出递归自进化框架以联合优化技能与工具调用链。

  10. arXiv · 机器人与计算机视觉78

    GALA:一种用于可控物体布置的几何感知语言模型

    针对现有方法依赖简化表示而忽视细节几何的问题,该工作提出 GALA 模型,通过显式点云感知实现细粒度支撑与包含约束推理。模型采用两阶段训练策略对齐几何与文本模态,并在多源场景数据集上显著优于基线。此外,团队开发了基于模型的文本驱动场景生成智能体管线,相关数据集与代码将开源。

    推荐理由:该工作提出融合点云感知的几何语言模型,解决细粒度放置约束推理难题,并开源多场景数据集与计划 - 放置 - 验证智能体管线。

  11. arXiv · 机器人与计算机视觉78

    成对学习提升深度神经网络的数据效率

    针对小样本回归中深层网络易坍缩至低方差预测的问题,作者引入成对比较框架,将回归重构为聚合相对排名。该方法在不增加监督的情况下,利用 UTKFace 数据集(2.3 万图像)生成了超过十亿次训练比较。

    推荐理由:提出成对比较框架将回归转化为聚合相对排名,在少量标签下提升数据效率与模型性能。