PerCoV2:基于查询的 1D 多模态图像 Token 超低码率感知图像压缩系统发布
PerCoV2 是一个超低码率感知图像压缩系统,统一了语义分词、流生成和熵建模。该系统在 MSCOCO-30k 数据集上实现了极低码率(0.0015-0.025 bpp)下的最先进统计保真度,并在 SA-1B 数据集上训练后展现出对 DIV2K 等高分辨率基准的零样本泛化能力。
推荐理由:PerCoV2 在极低码率下实现感知压缩新 SOTA,开源代码与预训练模型将随论文发布。
技术方向
检测、分割、三维感知、定位与视频理解,以及相机、传感器和视觉工程。
985 条精选近 30 天 659 条共收录 6,653 条
PerCoV2 是一个超低码率感知图像压缩系统,统一了语义分词、流生成和熵建模。该系统在 MSCOCO-30k 数据集上实现了极低码率(0.0015-0.025 bpp)下的最先进统计保真度,并在 SA-1B 数据集上训练后展现出对 DIV2K 等高分辨率基准的零样本泛化能力。
推荐理由:PerCoV2 在极低码率下实现感知压缩新 SOTA,开源代码与预训练模型将随论文发布。
针对基准测试指令有限且无法进行穷举部署测试的问题,本文提出 OGAM 方法,利用成功与失败执行间的注意力发散信号实现运行时干预。研究在 OpenVLA、OpenVLA-OFT、UniVLA 和 pi_0.5 等四个策略上验证了该方法:通过成对组合动作模板与对象生成场景接地指令并测试同义改写,发现所有 87 个基准外案例均存在问题行为且无法完成任何可行指令。
推荐理由:该方法利用对象 grounding 的注意力监控,在无需失败标签训练下即可在线拦截 VLA 策略执行中的异常行为。
论文提出 SCION(Self-conditioned Generation on Self-supervised representation),解决对比学习与流匹配目标不匹配的难题,实现在单模型内完成无标签、无预训练模型的自条件生成。
推荐理由:提出 SCION 模型,实现无需标签或预训练的单步联合生成与自监督表征学习。
该研究针对视觉语言模型(VLM)生成结构化输出时的安全对齐不足问题,利用三个涵盖直接伤害、社会偏见和情境安全的基准数据集,对比了问答与视觉定位两种输出模式下的拒绝率差异。
推荐理由:研究发现 VLM 在 grounding 任务上比问答更容易被诱导执行有害指令,提出了一种结合拒绝与能力数据的微调方案以修复此漏洞。
论文提出 TIRMamba 网络解决红外图像超分辨率模型参数量过大难以部署的问题。该网络仅含约 89.6 万至 91 万个参数,通过热先验高速路计算梯度与局部对比度线索,调制双向状态空间主干并门控双尺度细节分支;采用重放策略在灰度 DIV2K 预训练后微调红外与自然图像块。
推荐理由:提出参数仅约 90 万的红外超分网络,在低资源下匹配主流方法性能并显著降低延迟。
论文系统揭示了全模态训练的多模态模型在推理时缺失某一模态反而表现不如单模态模型的异常现象,并将其归因于主参数子空间的结构化旋转。作者提出 Geodesic Unlearning 方法,利用测地线路径将输入子空间向单模态参考修正,在保持全模态精度的同时显著提升了缺失模态下的鲁棒性。
推荐理由:提出基于黎曼几何的参数编辑方法,通过修正主参数子空间结构来解决多模态模型在缺失模态时的性能退化问题。
论文提出 TAPDreamer 攻击框架,利用公开编码器构建固定局部扰动以攻击世界动作模型,无需访问目标策略输出。实验显示,在闭环评估中,单个冻结补丁覆盖约 6.5% 输入即可将 FastWAM 在 LIBERO 基准上的成功率从 97.7% 降至 0.0%,并显著降低 DreamWAM 和 Motus 模型的成功率,表明保护下游动作生成不足以防御此类攻击。
推荐理由:提出 TAPDreamer 攻击方法,证明仅保护下游动作生成不足,需同时防御针对共享视觉编码器的持久局部扰动。
该论文针对视频和高分辨率 3D 资产生成任务中稀疏注意力方法导致质量下降的问题,通过受控对比分析将其归因于令牌分组约束、交互选择不准及丢弃令牌导致的贡献丢失。作者提出 Meta-Cached Sparse Attention (MC-Sparse) 框架,在无需训练的情况下选择单个 KV 令牌并将相似查询组织为与瓦片对齐的组以适配 GPU 执行。
推荐理由:原文通过受控对比分析稀疏注意力导致质量下降的三大根源,提出无需训练的 Meta-Cached Sparse Attention 框架。
针对长视频理解中跨时间跨度信息检索的需求,本文提出了 VideoTapestry 这一无需训练的框架。该框架通过粗到细的层级构建预构造记忆,并分配专用智能体进行查询驱动的精细化定位与观察,最终组装出紧凑且保留细节的复合记忆。在 LVBench、LongVideoBench (Long)、Video-MME (Long) 和 EgoSchema 等基准上,相比直接推理实现了显著的绝对精度提升。
推荐理由:提出无需训练的查询自适应记忆框架,在长视频理解基准上实现绝对精度提升。
针对现有说话头生成方法忽视用户特定说话习惯的问题,本文提出 TalkLikeYou 框架,在运动空间建模习惯并通过流匹配实现推理一步的实时性能。该方法采用两阶段模仿学习策略,支持通过预设风格或参考视频指定目标习惯,并引入 PLAD 新指标量化口型动作的模仿精度与生成多样性。实验表明其能显著提升个性化表达效果,代码已开源。
推荐理由:提出 TalkLikeYou 框架,通过流匹配实现实时口型生成并引入 PLAD 指标评估个性化说话习惯的模仿效果。
针对前馈视觉几何 Transformer 在长序列重建中存在的累积漂移问题,论文提出 VGGT-Bridge 方法,通过引入非相邻块间的直接约束和反向帧修正策略来优化位姿图。该方法在 KITTI、Virtual KITTI 和 Waymo Open 数据集上显著降低了绝对轨迹误差(ATE),优于现有分块对齐方法的基线。该工作已接受发表于 ACCV 2026,属于预印本状态。
推荐理由:提出 VGGT-Bridge,通过粗粒度跳变边和反向帧修正解决长序列累积漂移问题。
论文介绍 Keepsake,一种无需训练、在线运行的固定容量空间记忆控制器。该方法针对长视界相机控制视频生成中场景一致性的维持问题,提出观测价值取决于内存库中替代方案数量的新视角。
推荐理由:提出 Keepsake 控制器,通过构建姿态 - 外观图动态评估观测值,在固定内存预算下显著降低长视频生成的 FVD 指标。
针对早产儿无标记姿态估计中人工标注易含误差的问题,本文提出基于小损失假设和训练动态的噪声标注检测框架。该框架利用混合卷积注意力模型预测关键点类别,通过交叉熵训练动态生成描述符并聚类划分干净与噪声子集。在包含65名住院早产儿的NeoPose数据集及COCO基准上的实验表明,该方法在多种噪声场景下对噪声关键点的检出F1分数最高达91.9%,且过滤噪声标注后下游姿态估计精度提升显著。
推荐理由:提出基于训练动态的噪声标注检测框架,在新生儿姿态估计数据集上实现最高91.9%检出率,并验证了其对下游任务精度的提升。
针对 AI 生成视频检测挑战,论文提出 MTOR 模型,结合全局视觉与文本表征的多模态分支及时间过度规律组件。实验在五个基准上覆盖 46 种生成器变体,性能优于 16 个基线,并对 12 种真实扰动具有鲁棒性。代码与模型将在发布时开放。
推荐理由:提出 MTOR 模型,融合多模态语义与时间过度规律特征,在五个基准上对 46 种生成器变体均达到最优性能。
Sungwoo Kang 发现整合环境传感器数据提升作物病害分类准确性的报告多为数据集构建伪影。通过分析两个韩国常用数据集,证明单一会话共享的传感器读数导致多模态网络仅凭记忆会话身份即可预测病害,91.9% 的测试集图像在训练集中存在精确传感器重复。
推荐理由:该研究揭示作物病害数据集存在严重的传感器数据泄露,建议采用会话隔离划分和纯时间基准以验证真实泛化能力。
作者引入 BabelFake 基准,包含来自 496 名参与者的 39.9 万段视频(1,323 小时),覆盖五种语言。该基准采用模块化生成管线,将 11 种现代视频操纵方法与 4 种语音克隆引擎配对,区分纯视觉与音视频联合操纵。评测显示检测难度取决于生成配对组合,且真实音频保留会导致性能显著下降;跨语言和人群评估揭示了不同架构的敏感性差异,而人类感知真实性与机器检测难度并不一致。
推荐理由:该基准涵盖五种语言及现代音视频合成管线,揭示了检测难度对生成配对的依赖性与跨人群敏感性。
CLIP 类视觉语言模型在定向空间关系(如物体左右位置)上的评分接近随机水平,这种现象被称为‘读出盲视’。论文分析指出,当评分规则对主体和客体对称处理时,方向信息会被抵消。
推荐理由:论文提出无需额外训练的 ADR 方法,从冻结编码器中恢复被评分规则掩盖的空间方向信息。
论文介绍 CentriQ,这是一种针对扩散 Transformer(DiT)的免校准量化技术。该方法通过在旋转前对每个 token 进行中心化处理,并利用秩 -1 全精度分支恢复均值,从而在无需数据的情况下确定量化范围。
推荐理由:提出一种无需校准的扩散 Transformer 量化方法,在低比特下保持生成质量并优于现有无校准方案。
该论文通过场景保持的指令干预实验,发现 VLA 和世界动作模型(WAM)在仿真与实机中虽能成功执行任务,却常忽略用户指令而选择场景偏好的原始目标。线性探针显示指令被编码但难以控制动作生成,注意力分析证实了视觉 grounding 不匹配问题。研究提出了一套诊断框架,为衡量策略是否真正遵循意图变化提供了具体标准。
推荐理由:研究揭示 VLA 与 WAM 存在指令编码与控制脱节,提出基于场景干预的诊断框架以评估真实意图遵循能力。
论文提出 MoCAR,一种解码器仅架构,将轨迹预测重构为坐标感知的连续潜空间中的下一运动码预测任务。该方法从端点归一化的轨迹段学习连续运动码空间,利用历史码作为教师强制前缀,在时间、地图、智能体及模式交互下自回归生成未来码,并在潜在记忆中持久化预测码以更新局部场景上下文。
推荐理由:提出将轨迹预测转化为坐标感知连续潜空间中的下一码预测,在 Argoverse 基准上实现零样本迁移与转弯场景改进。