跳到正文

技术方向

计算机视觉 最新动态

检测、分割、三维感知、定位与视频理解,以及相机、传感器和视觉工程。

985 条精选近 30 天 659 条共收录 6,653 条

更新

精选归档 · 第 2 页

11月18日周三第 21–40 条
  1. arXiv · 机器人与计算机视觉82

    随着学生模型 rollout 继续,视觉后门持续增长:在线蒸馏中的后门传播风险研究

    本文针对视觉语言模型的在线蒸馏(OPD)范式,挑战了其对后门传播具有天然抵抗力的直觉。研究发现,一旦超过临界阈值,攻击成功率会迅速接近 100%,且该过程不依赖显式恶意响应,而是由教师模型分配的异常概率质量累积驱动。作者提出了一种无需显式注入触发器的新型触发器设计,揭示了 OPD 中被忽视的后门传播机制及其潜在安全风险。

    推荐理由:该文挑战了在线蒸馏对后门传播具有天然抵抗力的直觉,揭示了在特定阈值下攻击成功率可达 100% 的机制及无需显式触发器的新设计。

  2. arXiv · 机器人与计算机视觉85

    SARVIA:一种快速适配合成孔径雷达基础模型的方法

    针对合成孔径雷达(SAR)基础模型依赖昂贵预训练的问题,本文提出 SARVIA 方法,利用现代多模态大语言模型(MLLMs)已有的视觉编码器作为下游初始化。该方法通过自监督视觉问答任务对 MLLM 进行自适应后预训练,仅需 600 步和 2 GPU 小时即可在六个 SAR 检测与分割基准上超越专用基础模型。研究将重点从重复的昂贵预训练转向可复用的专业化过程,并开放了数据集与代码。

    推荐理由:提出 SARVIA 方法,利用现有 MLLM 视觉编码器通过自监督微调实现合成孔径雷达任务的高效适配。

  3. arXiv · 机器人与计算机视觉80

    Cross3DGS:基于 Vulkan 的统一 3D Gaussian Splatting 训练方法

    论文 Cross3DGS 针对手持设备捕获场景需回传工作站训练的痛点,提出一种跨厂商、跨平台的 Vulkan 训练器。该方法在保留单一优化器的同时,根据设备限制和驱动表现动态选择执行计划,支持 NVIDIA、Intel、Arm、Qualcomm、AMD 及 Apple GPU(含 Android 与 iPhone)。

    推荐理由:Cross3DGS 提出跨厂商 Vulkan 训练器,在移动端实现高质量 3DGS 训练并优于现有工具。

  4. arXiv · 机器人与计算机视觉82

    CueClash:前沿视觉语言模型对近画面平面三维关系的判断存在偏差

    论文 CueClash 通过构建渲染场景揭示视觉语言模型(VLM)在从图像推断三维关系时存在的线索冲突与深度压缩缺陷。实验显示,Claude Opus 5.5、GPT-5.5 和 Gemini 3.6 Flash 等模型在低推理努力下存在显著准确率差距,且其生成的俯视场景地图往往保留图像的深度缩短特性而非真实布局。研究还发现模型在处理 CV-Bench 照片中的可靠二维线索误导时也会失效。

    推荐理由:该研究揭示了前沿 VLM 在从图像推断三维关系时存在的线索冲突与深度压缩缺陷,并量化了不同模型的表现差异。

  5. arXiv · 机器人与计算机视觉78

    HandRSI:用于手部姿态估计的递归自改进框架

    针对以眼为中心的手部 3D 姿态估计器存在的边界漏检、遮挡误判和抖动问题,作者提出了 HandRSI 递归自改进框架。该框架通过编码代理迭代优化推理工具包,仅在综合指标提升且无显著退化的情况下接受变更,并利用选择性蒸馏监督无真值帧中的手部存在与时序一致性。

    推荐理由:报告了递归自改进框架在边界漏检、遮挡和抖动上的效果,代码与评估器公开。

  6. arXiv · 机器人与计算机视觉82

    BATMoS:面向高效视频扩散模型的预算感知引导分配方法

    论文 BATMoS 提出一种无需额外训练路由器的引导分配方案,通过基于幅值的时间规则将新鲜引导与缓存引导结合,在 CogVideoX-2B 上以 20% 更少的分支评估达到接近全量引导的生成质量。该方法可与特征复用组合,进一步降低有效计算分支数,为视频扩散模型推理提供了实用的预算优化机制。

    推荐理由:BATMoS 提出基于时间步的引导策略复用机制,在固定推理预算下提升视频生成质量并减少计算分支评估。

  7. arXiv · 机器人与计算机视觉78

    SCAN:面向神经疾病分类的站点感知协作隐私保护视觉语言模型适配方法

    针对全球神经影像数据因隐私规则无法集中化的问题,本文提出 SCAN 框架,允许新站点在不共享患者扫描数据或重新训练的情况下,对 3D 医学视觉语言模型进行本地化适配。

    推荐理由:提出无需共享影像或重训的站点感知协作框架,在保护隐私前提下实现多中心神经影像模型适配。

  8. arXiv · 机器人与计算机视觉78

    小视频语言模型的 grounded reasoning 引用是否被使用:反事实测试

    该研究针对小视频语言模型(2-3B)提出一种无需标注的干预测试方法,通过遮蔽模型自身引用的区域或实体来检验答案依赖性。实验显示,在 CLEVRER 任务上引用遮蔽导致的答案翻转率是随机遮蔽同尺寸区域的 2.2 倍,而在 NExT-QA 上差异较小,揭示了常规 grounding 检查无法捕捉到的引用与答案脱钩问题。

    推荐理由:提出无需标注的引用干预测试方法,揭示小视频语言模型在 CLEVRER 等任务上存在引用与答案依赖脱钩现象。

  9. arXiv · 机器人与计算机视觉82

    Wrong Input, Wrong Threshold:重新评估对抗性面部隐私

    该论文发现现有面部隐私保护方法的评测结果存在缺陷:输入端直接喂入整图或检测框而非对齐裁剪,导致防御效果被高估;阈值设定沿用旧标准,在整图上产生偏差。作者通过引入可微分对齐算子并修正评分方式,在不重新生成图像的情况下,将转移攻击的规避保护降低了 56%,预算分配攻击降低 7%。实验显示,修正后的方法在三个未见识别器上性能提升显著,且改变了 L-infinity 转移攻击的排名顺序。

    推荐理由:文章指出既有面部隐私评测因输入与阈值设定错误而高估了防护效果,并给出可复用的修正方法与实验数据。

  10. arXiv · 机器人与计算机视觉78

    FaceRiff:通过几何条件实现数据高效统一的文本到 3D 人脸资产合成

    论文提出了 FaceRiff,这是一个统一且数据高效的框架,可直接从文本生成完整的 3D 人脸资产(网格、反照率和位移)。该方法适配预训练的 SDXL 骨干网络,使用 UV 法线图作为几何条件引导合成,仅需约 2049 个扫描数据和单 GPU 训练即可更新少于 3% 的骨干参数。盲测显示其感知真实度接近真实采集数据,且生成的反照率对光照独立,适合 PBR 重光照和毛孔级位移生成。

    推荐理由:该工作提出 FaceRiff,利用预训练扩散先验与几何条件,在少量数据下生成高保真 3D 人脸资产。

  11. arXiv · 机器人与计算机视觉78

    Sketch, Don't Paint:在生成式视觉推理中动态分配测试时计算资源

    论文研究了多模态模型如何通过合成像素进行推理,发现迭代去噪主导了推理成本。研究揭示了三种思维模式:因果性思维早期即可识读且素描步数远少于渲染步数;装饰性思维可省略;有害思维会降低准确率。

    推荐理由:研究揭示生成式视觉推理中三种计算分配模式,提出无需标签的素描投票策略以显著降低推理成本。

  12. Hugging Face Daily Papers83

    π^4:一种用于 4D 场景几何与运动的统一基础模型

    论文介绍 π^4 作为统一的 4D 场景感知基础模型,能从野外未校准的 RGB 输入(单图、无序集合或视频序列)恢复稠密几何、相机位姿和度量尺度,同时输出 2D/3D 点轨迹及移动物体掩码。系统耦合几何分支与几何条件化的运动分支,在共享骨干网络下约含 05B 参数,单次前向传播即可完成大规模场景的联合重建与跟踪。材料提供数据、训练配方及关键设计选择的实证研究,代码与模型已开源。

    推荐理由:该预印本提出统一模型以单张图像或视频序列恢复稠密几何与运动,参数量小于多数基线。

11月17日周二
  1. arXiv · 机器人与计算机视觉78

    Chameleon:扩散模型高效量化中的动态格式适配器

    该论文提出 Chameleon 框架,将量化格式本身作为离散变量,按权重通道和激活层动态从 INT8、FP8 等集合中选择,而非固定单一格式。在 SDXL、PixArt-$\alpha$ 等模型上,该方法在所有位宽设置下均取得最佳 FID,推理速度较 FP16 提升 1.09 倍且权重体积缩小 3 倍。材料为预印本,未提及同行评审状态或开源代码仓库。

    推荐理由:提出 Chameleon 框架,通过动态选择激活与权重的混合格式在固定位宽下实现最佳 FID 与推理速度提升。

  2. arXiv · 机器人与计算机视觉78

    零训练 LLM+OVOD 流水线中的归因缺口:CAAP-SNAP 差异细粒度分析

    该论文在 COCO-Val 全量数据集上分析了零训练大语言模型与开词汇检测器流水线的表现,发现定位准确率下降主要源于词汇新颖性导致命名对象超出标注类别范围,而非模型幻觉或视觉复杂度问题。研究证实了该现象具有通用性,并修正了前版计算误差,为开放世界多模态系统的评估与设计提供了关键依据。

    推荐理由:研究发现零训练流水线中定位与语义的差距主要源于标注类别限制而非模型幻觉,为评估开放世界系统提供了新视角。

  3. arXiv · 机器人与计算机视觉82

    PRIME:基于情境记忆嵌入的 VLA 模型感知反馈

    该论文提出 PRIME 方法,通过跨注意力机制聚合过去感知、推理及导航目标的潜在表示,为 VLA 模型提供情境记忆反馈,使其感知查询具备意图驱动性。实验显示,该方法在基准测试中实现了 82.47 的驾驶得分和 60% 的成功率,显著优于现有基线。材料仅包含预印本摘要与元数据,未涉及真实部署或开源代码。

    推荐理由:PRIME 通过引入情境记忆嵌入机制,以极小参数成本实现了感知模块的意图驱动注意力,在 Bench2Drive 基准上刷新了 VLA 模型的驾驶得分与成功率。

  4. arXiv · 机器人与计算机视觉78

    UnderOneFacade:全球最大的跨大陆 3D 建筑立面语义分割基准数据集发布

    作者发布了 UnderOneFacade,这是迄今为止最大的跨国界和跨大陆的 3D 建筑立面基准数据集,包含总计 27 亿个标注点的厘米级精度点云及层级化、标准化的语义标签。

    推荐理由:该数据集提供全球跨域、厘米级精度的建筑立面分割基准,揭示了现有模型在细粒度识别与泛化上的瓶颈。

  5. arXiv · 机器人与计算机视觉78

    VISTAQA:联合视觉问答与像素级证据的基准评测

    该研究提出 VISTAQA 基准,包含 1,157 个专家 curated 样本,覆盖六种任务类型和六个视觉领域,要求模型不仅回答正确,还需提供支持答案的精确分割掩码。材料引入了 GROVE 统一评估指标,通过每样本几何平均强制文本准确性与定位质量共同生效,防止任一维度弥补另一维度的不足。实验显示即使最强系统在该指标下表现也有限,凸显了推理准确性与视觉证据对齐之间的巨大差距。

    推荐理由:VISTAQA 基准与 GROVE 指标强制模型同时输出正确答案和像素级证据,揭示了当前多模态大模型在推理与定位对齐上的显著差距。

  6. arXiv · 机器人与计算机视觉78

    Closed-Form Linear-Probe Dataset Distillation for Pre-trained Vision Models

    该论文提出了针对预训练视觉模型的闭式线性探测数据集蒸馏方法 CLP-DD。该方法利用冻结特征的闭式解替代迭代更新,在 ImageNet 基准上相比 LGM 大幅降低计算与显存成本,同时保持或超越性能。代码已开源。

    推荐理由:提出 Closed-Form Linear-Probe Dataset Distillation,利用预训练特征闭式解显著降低计算与显存开销。

  7. arXiv · 机器人与计算机视觉80

    通过理解监督引导统一多模态模型的视觉生成

    针对统一多模态模型中理解与生成分离导致协同效应不确定的问题,本文提出理解导向后训练(UNO)框架。该框架将理解任务作为直接监督信号,通过编码语义抽象和结构细节的目标,实现从理解到生成的有效梯度流动。实验表明理解可作为生成的高效催化剂。

    推荐理由:提出理解导向后训练框架,利用语义与结构监督引导生成表示。

  8. arXiv · 机器人与计算机视觉82

    Seeing but Not Thinking:多模态混合专家模型中的路由干扰研究

    该论文揭示了多模态混合专家(MoE)模型在视觉语言任务中存在的“看得见却想不出”现象,即模型能准确感知图像内容却在后续推理上失败,而纯文本输入却能正确解决相同问题。

    推荐理由:研究发现多模态 MoE 模型存在视觉感知与推理脱节现象,提出路由干扰假设并验证了通过干预激活领域专家可提升复杂视觉推理任务性能。