行为亲和性传递:用于零样本视觉语言分类
该论文提出 Behavioral Affinity Transduction (BAT) 方法,旨在解决零样本视觉语言模型(VLM)独立评分时忽略图像间关联的问题。
推荐理由:BAT 方法利用零样本 VLM 的类响应特征构建稀疏图,为冻结模型提供邻居证据以提升分类准确率。
技术方向
检测、分割、三维感知、定位与视频理解,以及相机、传感器和视觉工程。
985 条精选近 30 天 659 条共收录 6,653 条
该论文提出 Behavioral Affinity Transduction (BAT) 方法,旨在解决零样本视觉语言模型(VLM)独立评分时忽略图像间关联的问题。
推荐理由:BAT 方法利用零样本 VLM 的类响应特征构建稀疏图,为冻结模型提供邻居证据以提升分类准确率。
针对场景坐标回归(SCR)在鱼眼、全景等不同相机模型间泛化能力差的问题,本文提出 Ray-SCR 方法。该方法将局部视觉特征条件化为校准后的观测射线,并利用稀疏 SfM 点作为度量锚点连接不同视图与相机模型。实验表明,Ray-SCR 显著提升了跨相机场景的泛化性能,在针孔、鱼眼及全景相机设置下均达到最先进定位效果。
推荐理由:Ray-SCR 通过射线条件化与稀疏 SfM 锚点,解决了场景坐标回归在多相机模型间的泛化难题。
该论文介绍 DR Pixel,这是首个将渲染后的文档页面图像作为唯一检索与推理单元的开源端到端多模态深度研究智能体。研究构建了 DRPixelBench 基准以评估在科学论文(含文本、图表、公式)上的表现。
推荐理由:提出 DR Pixel,首个基于渲染页面图像而非 OCR 文本的开源多模态深度研究智能体,在科学文献处理上无需训练即可超越现有基线。
论文 MIRA 针对现有框架中因过度依赖视觉 token 导致的感知 - 推理差距问题,提出一种训练框架以增强鲁棒性和逻辑推理能力。该方法通过在训练中注入过滤后的欺骗性视觉上下文构建‘硬陷阱’,并引入组内反思触发机制使模型自主检测并修正视觉线索与逻辑约束间的不一致。
推荐理由:该工作提出通过注入欺骗性视觉上下文来强化多模态推理的鲁棒性,无需人工标注即可提升模型在感知扰动下的逻辑一致性。
该预印本介绍了 VideoEditor-MoE,这是首个用于视频编辑的开源混合专家(MoE)框架。研究基于一个 50 亿参数的基座模型,将其扩展至 140 亿和 560 亿参数版本,每个 token 激活约 80 亿参数。
推荐理由:该预印本提出了首个开源视频编辑 MoE 框架,验证了路由注意力机制在保持全局交互下的扩展性优势。
针对姿态驱动的人类视频扩散模型难以在大幅变姿时保持身份一致的问题,该研究提出一种无需主体视频、真实标签或地面真值的个性化方案。通过域调整的姿态条件生成器合成关键姿态下的伪真值帧,利用推理时的参考仅采样器引导候选帧以维持身份一致性,并基于静态片段训练每个主体的低秩适配器。
推荐理由:该工作提出在测试时利用自生成监督实现单图个性化视频扩散,无需主体视频或标签即可提升身份保持与动作一致性。
论文发现标准 InfoNCE 对比学习在扩散 Transformer 训练中因噪声捷径而收益有限,为此提出 Clean Representation-ANchored Contrastive (CRAN) 正则化方法。
推荐理由:针对扩散 Transformer 训练中 InfoNCE 对比学习失效问题,提出 CRAN 正则化方法以抑制噪声捷径并提升模型效果。
针对城市摄影测量点云处理中局部 3D 补丁限制上下文的问题,作者提出 Aerial Content-Aware Sample-Adaptive Classifier (ACASAC)。
推荐理由:提出决策级自适应分类器以融合投影与点云表征差异,在两个基准数据集上提升 mIoU。
OmniOPD 是一种旨在解决联合音视频生成中跨模态干扰与音频监督稀疏问题的同策略蒸馏框架。该方法通过不对称噪声调度构建特权视觉信息以增强音频目标质量,利用分组多噪声采样扩大音频监督覆盖范围,并引入基于教师 - 学生转换分歧的时间步重要性加权来稳定训练波动。在 JavisBench 和 VBench 上的评估显示,该框架在保持音频质量的同时显著提升了视频生成效果。
推荐理由:针对多模态生成中音频监督稀疏导致的训练不稳定问题,提出基于特权视觉信息与分组采样的联合蒸馏框架。
该研究提出了 OctreeSplat 方法,这是一种层级八叉树引导的前馈高斯泼溅技术,旨在解决固定分辨率限制局部复杂度分配的问题。该方法从冻结的视觉基础模型中提取多视图特征和几何先验,构建层级八叉树并预测稠密化分数,从而根据局部复杂度在空间上变化密度地分配高斯原语。
推荐理由:提出层级八叉树引导的前馈高斯泼溅方法,利用冻结视觉基础模型提取特征并预测稠密化分数,在多个基准上实现高质量重建。
针对联合训练的多模态网络常因强模态主导而忽视弱模态的问题,本文提出 Probe-Guided Gradient Boosting (PGGB) 方法。该方法为各模态附加轻量级线性分类器以独立估计表征质量,利用由此产生的利用率差距信号,在保持强模态强度的同时自适应增强弱模态梯度。实验表明 PGGB 在高度不平衡的多模态数据集上优于最先进方法,且代码已开源。
推荐理由:提出 Probe-Guided Gradient Boosting 方法,通过独立评估模态表征质量来自适应增强弱势模态梯度,解决多模态网络中强模态主导问题。
针对传统基于似然的扩散模型易导致高频细节过平滑的问题,本文提出 Latent Diffusion Generative Adversarial Networks (LD-GAN) 框架。
推荐理由:提出将对抗学习无缝集成至潜在扩散模型的新框架,利用预训练 VAE 作为判别器以增强高频细节与感知保真度。
该研究报告了 PixelBench 基准,评估大语言模型在无专用图像解码器的情况下直接通过词汇表生成 RGB 像素的能力。研究发现强模型在文本到像素任务中能直接生成可识别图像,且像素理解能力与生成性能高度相关。作者还提出了像素重建微调(PRT)方法,通过混合指令数据提升模型在视觉基准上的表现,表明显式像素重建可作为有效的辅助监督信号。
推荐理由:该报告提出 PixelBench 基准与 PRT 微调方法,证明大模型无需专用解码器即可直接生成像素图像。
针对高光谱视频标注稀缺及 RGB 与高光谱域差距大的问题,论文提出 SProTrack 框架。该方法利用自编码器从高光谱帧学习全局场景级光谱表示作为潜在提示,将时序建模能力从预训练的 RGB 基础模型继承,同时通过无监督方式学习高光谱信息,无需密集监督或大规模重训练。实验在 HOT2020 和 HOT2023 数据集上验证了该方法在所有光谱域均表现优异。
推荐理由:提出 SProTrack 框架,通过潜在光谱提示将 RGB 预训练跟踪器的时序知识迁移至高光谱域。
论文提出了 EvoOcc 框架,旨在解决自动驾驶中高精度与低延迟难以兼顾的问题。该方法将占用预测建模为连续时间控制动力学系统,分解为自我状态演化以补偿坐标偏移和场景状态演化以捕捉真实几何变化。实验表明,EvoOcc 在三种快慢系统组合及不规则预测到达场景中,均能显著优于快速系统基线并保持更低的延迟,实现了良好的精度 - 延迟平衡与稳定行为。
推荐理由:该工作提出 EvoOcc 框架,通过控制动力学将快慢系统融合以平衡精度与延迟。
该论文提出了 GEAR(Generative Editing for Asset Retrieval)框架,旨在解决虚拟环境中用户着装需与周围场景和谐共存的挑战。
推荐理由:提出 GEAR 框架,通过生成中间查询桥接场景与服装资产跨域差距,在虚拟旅行场景中实现实时检索与试穿。
arXiv 论文发布 AgiWorld,这是一种代理式视频世界模型,旨在从单张图像和自由指令出发构建并探索持久化世界。系统包含负责高层规划与路径设计的 AgiWorld-Agent 和负责逐帧生成视频的 AgiWorld-WM,两者共享空间记忆以维持状态一致性与用户意图忠实度。
推荐理由:提出 AgiWorld,通过智能体与视频模型的闭环及空间记忆机制解决长序列探索中的持久性问题。
该论文针对多模态大语言模型在多视角 RGB 观测中存在的“视角诱导的语义漂移”现象,提出了 LieVLM 框架。该方法通过提取几何 token 预测局部旋转参数和路由系数,利用封闭形式的 Padé--Cayley 映射对投影视觉特征进行身份相对校正并门控回原特征,从而在保留预训练语义与直接空间上下文的同时学习视角依赖的特征调整。
推荐理由:提出 LieVLM 框架,利用李群路由机制解决多视角语义漂移问题,在多项 3D 理解任务上优于传统融合方法。
针对扩散驱动视觉语言动作模型(Diffusion driving VLAs)在每个去噪阶段重复执行骨干网络导致的高推理成本问题,本文提出一种场景自适应读出与解码框架。
推荐理由:提出场景自适应读出与解码框架,在 Waymo E2E 基准上推理加速最高达 6.0 倍,同时提升轨迹预测质量。
论文提出 UniGS-SLAM 框架,旨在仅通过 RGB 观测重建场景几何并构建语义地图。该方法将开放词汇语义从高斯重建中解耦,利用基础先验增强单目深度与位姿估计,并将语义观测融合到独立的稀疏体素图中以支持历史证据的修订。
推荐理由:该工作提出仅用 RGB 输入即可解耦语义与高斯重建的框架,在 Replica、ScanNet 和 KITTI-360 上实现了领先的跟踪与几何重建性能。