Grounding on Request:VLM 的模态控制学习方法
该预印本研究评估并提出了在视觉语言模型中实现可靠模态控制的方法。当图像与文本描述冲突时,仅凭答案正确性无法判断模型是否遵循了指定模态的证据。作者通过引入新词嵌入和反事实双边距监督,训练模型区分视觉与文本依据。
该预印本研究评估并提出了在视觉语言模型中实现可靠模态控制的方法。当图像与文本描述冲突时,仅凭答案正确性无法判断模型是否遵循了指定模态的证据。作者通过引入新词嵌入和反事实双边距监督,训练模型区分视觉与文本依据。
针对“装饰房间”等开放型图像编辑请求存在多种有效实现的问题,研究如何在不过早消除其合法模糊性的前提下进行 grounded 探索。作者提出两阶段框架:先识别多样且可行的编辑范围,再将其转化为可执行的编辑指令。在 300 个任务上,该方法相比直接多样性提示将平均语义离散度提升 24.6%,平均 groundedness 提升 17.1%,并生成更多有效且独特的实现结果。
该方法在冻结编码器推理时融合图像相似度与自身多描述相似度,使同标注源下文本到图像 R@1 提升 3.4 至 16.8 个点。离货架描述器或异源标注增益显著下降, paraphrase-trained 文本编码器可进一步强化文本侧表现。代码已开源,适用于计算机视觉与计算语言领域。
TADER 框架融合座舱内面部图像与车外交通场景,通过建模预测轨迹与实际轨迹的差异来量化驾驶员的期望偏差。该研究采用迁移学习策略解决配对数据稀缺问题,在 AIDE 和 manD 数据集上将识别准确率提升 5%,优于现有最先进方法。
论文提出通过统一协议对多模态大模型进行视觉 Token 剪枝,并验证了后训练能挽回大部分性能损失。研究发现联合压缩中保留编码器 40% Token 比投影器 10% 更快,最佳配置在保持理解能力同时加速 LLM 阶段 3.49 倍,但端到端首字时间仅提升 1.54 倍。数据、协议与代码将开源。
ONOT/TONO-Print 是一个用于评估身份文件生产域偏移下人脸图像质量的配对基准,包含五种合成变体及少量物理子集。结果显示部分质量估计器受打印、雕刻等工艺影响出现显著域偏移,而其他模型表现相对稳定。该基准旨在对比生物特征与 ICAO 相关组件在生产前后的行为差异。
针对在单一设备上同时运行语言模型和稠密 3D 地图易导致内存溢出问题,论文提出基于语义空间单元(房间、走廊)的关键帧管理机制。该方法直接以内存为界限制图大小,并在读取数据前预知每帧成本;通过按语义区域释放已离开区域的地图,使机器人仅保留当前及即将进入的区域。
该论文针对高分辨率遥感图像中现有方法在跨尺度视觉层级联合建模及密集注意力机制效率上的不足,提出了 Cross-Scale Sparse Attention Model (CSSAM)。
LiteMed-ViT 通过从 ResNet18 教师网络向轻量级 ViT 学生模型进行双 Token 知识蒸馏,仅用 0.234M 参数和 0.89 MB 内存即可在 BloodMNIST 达到 95.05% 准确率。
针对自动驾驶中毫米波雷达图像以峰值为特征且需处理噪声的问题,本文从频域视角重新审视峰值卷积算子,提出 FreqPKC 并开发 FreqPKC-Net 框架。该方法通过显式建模频率响应和自适应调整有效带宽,在目标区域增强高频分量以提升分割精度,同时在背景区域抑制低频噪声。
论文提出 Semantic-First 方法,利用 FLUX.1-dev 模型在流匹配生成中引入确定性 ODE 采样与随机 SDE 采样的时序调度策略。该方法在前 20 步使用确定性采样确立内容语义,随后进行随机探索以调节情感属性,相比全路径随机训练降低了 33.5% 的训练成本,同时保持了较高的 CLIPScore 和语义一致性。
针对长视频中局部 AI 篡改难以被视频级分类有效检测的问题,作者引入 AV-FABLE 双时间轴基准数据集,包含 998 小时由 27 种编辑配置生成的纯净与篡改样本对。
该论文提出 Tight Learned Event-Inertial Odometry (TLEIO),这是一种紧凑的基于滤波器的管道,直接从体素化事件流中学习短窗口相对运动,并将结果约束与 IMU 传播紧密融合。
João P. Matos-Carvalho 等人发布论文 Image Clustering with Vision-Language Model Embeddings,对比了九种表示管道在七个基准数据集上的聚类性能。
推荐理由:该研究对比了九种基于预训练视觉语言模型的图像聚类流程,揭示了特征提取与归一化选择对调整兰德指数(ARI)的关键影响。
该研究分析了现代视觉基础模型中掩码块自蒸馏对局部视觉信息的影响,发现其语义收益可与依赖规模的局部性成本共存。通过无标注诊断区分了可恢复的局部外观与空间对应关系,表明在小模型中添加 iBOT 会削弱块对应但保留外观解码能力,而在大模型中像素和纹理证据在深层特征中的线性可访问性降低。
该预印本通过采样感知评估与受控干预实验发现,RLVR 虽能提升图像质量评估性能并生成有用链,但评分更多依赖与平均意见分数相关的文本线索而非显式推理过程。
arXiv 预印本提出一种名为 SORD 的迭代算法,用于从含局部分布外(OOD)扰动的观测中恢复干净信号。该方法仅需污染区域掩码和单一无需成对数据训练的预训练扩散模型,即可处理图像水印、阴影及音频中的干扰。实验显示其在多项基准上优于后验采样修复与监督网络基线。代码已开源。
针对快速光照过渡导致图像饱和并破坏视觉对应关系的问题,本文提出了 B-Adapt 和 BVSLAM 两种方法。B-Adapt 获取自适应曝光括号以覆盖场景动态范围并促进光度重叠;BVSLAM 直接将多曝光序列作为约束用于因子图状态估计器,无需依赖 HDR 合并。
该研究针对视网膜 OCT 深度学习依赖预定义类别导致罕见异常漏检的问题,引入无需疾病特定标注的非监督框架。实验表明,将预训练表示适配至正常视网膜结构能显著提升异常敏感度,像素空间重建误差与特征空间偏差为识别病理变化提供互补信号。该方法通过解剖感知表征学习,为超越预定义疾病类别的通用视网膜异常检测提供了新见解。
Ampe-DB 是一个包含 637 个片段的多模态数据集,涵盖 RGB 视频、双人姿态及元数据,旨在弥补现有基准在文化特定动作上的不足。实验显示,在四人分类任务中,RGB 编码器在固定基准下宏 F1 为 0.955,但在对持留评估中骤降至 0.418,表明强基准分数可能掩盖泛化失效。该数据集支持细粒度动作识别、人机交互及身份感知泛化研究,代码与数据已开放。
该研究证实红外行人检测中的校准热通道包含灰度通道缺乏的信息,在 FLIR ADAS 数据集上使 mAP 提升 +0.0221。实验显示保持配对对应关系和绝对校准标度会将预期校准误差从约 0.05 升至 0.142。基于温度证据学习(TEL)的归因分析表明,相位随机化在 FLIR ADAS 上带来 +0.0185 mAP 增益,且该结果依赖于五臂受控归因实验条件。
论文指出现有视频存储范式针对顺序播放优化,导致 AI 训练随机采样时面临解码效率瓶颈。作者提出依赖感知稀疏解码与可选的离线解耦随机访问编码方案,通过重构解码调度与参考结构,将每个请求目标的重建限制在最多三个帧内,独立于 intra 周期。实验显示该方法在保持可比重建质量的同时,加载吞吐量是 LeRobot v3 的 1.45 倍,媒体负载减少 58.7%。
推荐理由:针对大模型训练中视频随机采样导致的解码瓶颈,提出依赖感知稀疏解码与离线解耦编码方案,在保持画质的同时显著提升加载吞吐量并降低媒体负载。
VICE 是一种基于检索的多模态知识编辑框架,通过外部存储和视觉上下文演示来暴露任务相关证据。在 WaterBird-Edit 分析集上,该框架显著降低了模型对背景变化的敏感性;而在三个标准基准测试中,VICE 展现了强大的终身编辑性能。代码与数据集已公开,论文已被 EMNLP 2026 Findings 接收。
针对视觉语言动作模型(VLA)部署于内存受限车载平台的挑战,本文提出 AGQ 方法,结合动作敏感性与权重恢复成本代理来分配矩阵位宽。该方法通过通道校准补偿量化误差、保持矩阵内统一位宽以维持布局规则性,并利用基于位的分组无损编码减少驻留存储及块级恢复限制临时缓冲区。
作者发布了 OvisOCR3,这是一个 0.8B 参数的模型,旨在统一处理文档解析、通用 OCR、关键信息提取(KIE)、文档图表描述和跨页表格重建等任务。该模型通过持续预训练、域平衡中期训练以及多教师同策略蒸馏等技术进行训练。
ProtoEEG 提出一种基于共享可学习视觉码本(K=64)的框架,将脑电 - 图像对齐重构为软组合以解决头皮信号噪声与空间粗糙问题。该模型在 THINGS-EEG2 200 类检索任务中达到 64.0% Top-1 准确率,并在 EEG-ImageNet 80 类检索中获得 44.8% Top-1,同时在七项重建指标中均排名第一。
arXiv 论文提出 Oddin 框架,旨在解决统一大多模态模型(ULMMs)在交错文本 - 图像生成中进行视觉推理时计算开销大的问题。该方法用紧凑的潜在 token 替代中间图像,完全由理解分支处理,仅保留生成分支用于最终输出图像。
针对低空无人机图像中目标小、视觉相似及语言空间约束复杂的问题,本文提出 DRA-SAM 框架。该方法通过轻量级证据评分器评估候选与未解析状态,利用无训练参考分歧 LOOK 策略选择作物进行局部重推理,并基于 SAM3-I 骨干更新假设与新候选。
GMoE-FTI 提出一种通用人脸模板反演框架,通过独立训练五种映射专家与匹配模块并联合微调,实现跨异构模板的统一生成。在 LFW 基准上针对 AdaFace、CosFace 等七种未见模板类型评估显示,该方法平均 TAR 提升 40%,FAPD 和 FAPC 各降低 2%。研究验证了其在保护生物特征隐私场景下的泛化能力与优越性。
该研究提出一种结合内隐直觉先验与显式证据检索的双记忆框架,通过无训练路由机制自适应融合两种记忆以解决覆盖不足问题。在多项基准测试中,该方法整体优于单一范式基线(Episodic +4.67%),并在证据定位任务及分散信息整合方面展现特定优势。相关代码与论文已作为实验性预印本公开于 arXiv。
针对深度学习模型在特征空间扰动下的脆弱性,本文提出基于高斯随机平滑的特征空间平滑(FS)框架,将任意特征编码器转化为具备可认证鲁棒性的变体,确保在 L2 有界扰动下清洁与对抗特征间的余弦相似度下界。研究进一步建立预测级认证机制,并引入高斯平滑增强器(GSB)模块以无需重训练即可提升编码器的内在高斯鲁棒性分数。实验表明,该方法在多模态大语言模型等应用中能显著改善强白盒对抗攻击下的任务性能。
该工作引入 3D-anchored Light Probe (3DLP) 基准及包含 1K 对真实室内场景的高保真 HDR 数据集,其中物理光源被实际开关以验证图像编辑模型的光照理解。研究通过标注阴影与金属表面等区域,评估了主流模型的物理一致性,发现低光照区域误差更显著且 VLM 不适合像素级光传输分析。基准与数据将公开以供未来研究使用。
SteerVTE 是一种统一框架,旨在精确修改图像和视频中的文本同时保持风格一致性和视觉真实感。该框架基于冻结的视频扩散 Transformer,附加轻量级文本上下文适配器,包含捕捉原始文本视觉属性的风格编码器和在行与字符双重粒度编码目标文本的字形编码器。
该论文提出一种针对三维汽车激光雷达数据的零样本开放词汇语义分割新方法。为规避视觉语言模型固有的图文模态差距,该方法利用文本生成图像创建原型,并通过蒸馏自二维视觉基础模型的 3D 网络匹配点云特征与 2D 原型图像特征进行标注。方法在 nuScenes 和 SemanticKITTI 数据集上达到最先进水平。代码、预训练模型及生成的图像已公开。
该方法结合 Power-SLIC 聚类与超像素间的平方 2-Wasserstein 距离合并,解决了强强度非均匀性下的图像分割难题。研究证明了全局优化问题的 NP-完全性,并给出了贪心算法在直方图分离条件下的精确恢复证明及正则化能量近似界。数值实验显示其在存在显著强度非均匀性的图像上具有竞争力的分割精度且保持计算效率。
针对大视觉语言模型因语言先验主导而导致的物体误识别和描述不一致问题,作者提出一种无需训练的 Attention-space Contrastive Guidance (ACG) 方法。
推荐理由:提出无需训练的注意力空间对比引导方法,在降低延迟的同时提升大视觉语言模型的描述忠实度。
针对 CLIP 等多模态对比模型存在的持久模态差距问题,本文提出一种纯几何方法:将嵌入域从单位球改为概率单纯形,利用其非负和单位质量约束作为跨模态校准机制。实验在五个多模态检索基准上显示,该方法结合轻量级 softmax 适配器和总变异性相似度,将中心点 L2 差距降低了 97%--99%,检索性能匹配或超过标准无约束模型。
针对相机在近镜头处透过浑浊、含气泡且流动的水体观测场景,本文引入了一套包含七种流态组合的实测数据集,并展示了复原网络能显著提升结构相似性(SSIM)及目标识别率。研究提出简单处理流程:直接对原始帧进行分类,平均多帧以改善结构相似度,并利用混合训练数据训练的复原网络恢复图像细节。
推荐理由:该工作提供了含气泡与流动水体的实测数据集及复原网络,支持在浑浊介质下直接分类或恢复图像。
Nilotpal Kakati 提出掩码潜在预测方法(如 I-JEPA)的信息保留机制尚不明确,为此构建了已知所有图像因子的模拟器以测量训练后各因子的可读性。实验显示,在相同视图对下,I-JEPA 使用半宽度的预测器时因子可读性中位数仅为 SimCLR 的约 40%,而将预测器宽度扩展至与编码器一致则逆转了这一排序。作者开源了该模拟器及训练好的模型。
推荐理由:作者构建了可测量因子可读性的模拟器,发现掩码潜在预测中预测器宽度对信息保留起关键作用。
该方法针对物联网边缘系统无法访问完整训练数据时的在线适应难题,提出集成持续学习与 OOD 及概念漂移检测的边缘云方法论。通过引入 ODIN 和 ECDD 机制识别标注样本并触发基于重放的模型更新,实验在汽车、医疗和农业数据集上验证了其缓解灾难性遗忘的适用性。