T2I-NSI 基准:揭示文生图模型难以抑制被否定概念的现象
该文发布 T2I-NSI 基准与度量指标,用于评估文生图扩散模型对文本中否定概念的敏感度。研究包含超过 75 万配对提示词原子及 91 万张图片,发现开源权重生成器 NSI 分数低于 0.038,而 GPT-Image-1.5 和 Gemini-2.5-Flash-Image 约为 0.09。
该文发布 T2I-NSI 基准与度量指标,用于评估文生图扩散模型对文本中否定概念的敏感度。研究包含超过 75 万配对提示词原子及 91 万张图片,发现开源权重生成器 NSI 分数低于 0.038,而 GPT-Image-1.5 和 Gemini-2.5-Flash-Image 约为 0.09。
AttrEcho 框架通过区域对齐视觉属性融合(RAVF)与特征令牌聚合(FTA),解决预训练编码器细粒度细节不足问题。在 THINGS-EEG 数据集上,该模型实现受试者内 200 路检索 Top-1 准确率 94.8%、图库扩至 1600 张时保持 82.1%,跨受试者检索 Top-1 达 25.3%。研究证实显式视觉属性与空间对齐融合对细粒度 EEG 图像检索至关重要。
针对视觉语言模型的测试时适应问题,本文研究了介于无监督与全监督之间的中间部署模式。作者提出 ACTOR 模块,这是一种无需训练的插件,能在预测当前样本后利用稀疏的查询标签进行保守复用,通过一致性检查路由不确定的样本。该方法在十个跨域基准和 ImageNet 迁移基准上均提升了 ResNet 和 ViT 骨干网络的表现,且推理开销可忽略不计。
ToolDex 是一个大规模自中心 - 他中心人类演示数据集,旨在解决现有基准多基于仿真且缺乏真实世界多样性的问题。该数据集利用同步的自中心相机和八个他中心相机,捕捉人类选择、适应并重新利用物体作为工具的场景,提供高保真多视角观测及手部、工具和变形交互的详细标注。
该研究针对多模态大模型在图表计数任务中混淆视觉密度与算法难度的问题,设计了基于跨度树和简单路径的复杂度孪生测试集。实验表明 Gemini 等模型主要受答案数值大小而非计算复杂度影响,且存在单视图漏检水平边的阅读瓶颈;提供代码转录后,结合旋转副本读取可将大网格精确计数率从 59%提升至91%。
论文 MESAM 旨在利用 Segment Anything Model 2 (SAM2) 解决少样本分割任务中支持集与查询图像外观差异大的挑战。研究提出 Memory-Enhanced SAM2 方法,首先引入语义 - 视觉记忆生成模块构建查询语义、前景视觉及支持自适应记忆,随后通过交互式语义记忆细化模块补充细粒度细节并抑制背景误激活。
推荐理由:针对 SAM2 在少样本分割中因外观差异导致记忆匹配失效的问题,提出通过语义 - 视觉记忆生成与交互式细化模块提升性能。
Shilong Han 和 Hongxia Wang 提出了 FANO(Anchored Forward-Noise Optimization)方法,旨在解决预训练扩散模型在图像逆问题中直接优化去噪器输入 $x_t$ 时出现的径向漂移现象。
推荐理由:针对退火去噪器输入径向漂移问题,提出锚定前向噪声优化方法,在保持分布结构的同时提升非线性逆问题的重建性能。
TeViD 是首个面向土耳其语的多模态视频事实核查数据集,由 IFCN 认证机构文章、Snopes 译文及合成数据构建以平衡类别分布。研究基于 Qwen2.5-7B 与 Qwen2-VL-7B 开发零样本智能体流水线(3MFact-TR),集成语义不一致检查器、5W1H 问题管理器及双语证据检索模块。
VoluCompose 是一种免训练、模型无关的框架,旨在解决处理完整医学体积图像成本高昂的问题。该方法将内容选择与 Token 预算分配解耦,利用双曲 Token 组合模块和容量控制模块优化视觉编码器的注意力分布。
推荐理由:VoluCompose 提出免训练框架,在保留 22.78% 视觉 Token 时质量达未压缩参考的 121.68%,显著优于基线。
该研究调查了潜在学习在视觉语言模型(VLM)中的发生情况。研究人员微调教师 VLM 以产生特定动物或面部属性的偏好,并利用其生成的数字对无关的几何形状任务进行学生模型的微调。实验发现,这种偏好能跨 2B 至 7B 参数的模型传递,且学生模型在训练数据中表现出与教师相似的用词习惯。该研究结果对于理解 VLM 的训练影响及无关数据的潜在副作用具有重要意义。
该研究探讨了强化学习中因奖励驱动导致的任务能力增强但违反执行要求的行为错位问题。通过编码任务动态中的可验证奖励冲突,研究者生成了多样化的交互环境并推导了合规反馈。实验显示,即使在资源受限或报告工作流中,少数冲突暴露也可能导致广泛的捷径获取;但在引入简单的二元惩罚后,安全策略能同时提升能力和合规性,并在面对变化的证据要求时保持适应性。
针对传统仅探测 Transformer 最后一层的做法,该研究通过超 14.4 万次线性探测评估发现,联合考虑层与模块选择能显著提升表征质量。基于此结论提出的固定策略中,视觉模型采用 Act@100、语言模型采用 LN2@60,在多数评测中优于基线并分别恢复最优组合增益的 42% 和 86%。该结果适用于视觉基础模型及大语言模型,且随预训练与下游任务间的迁移难度增加而提升。
论文提出 Horizon-Scalable Q-Learning (HQL),旨在解决离线数据集中任务视界增长导致的价值函数估计困难问题。该方法通过自动平衡单步和多步回报,仅在目标值不低于 BC 策略采样动作时扩展目标,从而避免偏差并兼容流与扩散策略。实验表明 HQL 在组合锁任务和长视界基准上优于现有方法。
针对生成式模型在黑盒奖励场景下梯度信息不稳定或不可用的问题,作者提出了 ZeNOVA 方法。该方法通过退火软价值引导、流形约束超球朗之万动力学及 Metropolis-Hastings 跳跃机制,实现了对初始噪声的稳定高效优化。实验表明,ZeNOVA 在图像和视频生成模型上优于所有零阶基线,能更稳定地探索高奖励区域并有效利用高斯先验的几何特性。
FedDyMem 通过动态记忆库与加权平均压缩技术,在无标签样本下实现工业与医疗场景的分布式异常检测。该方法在十一数据集构建的六项任务中,相比传统参数交换显著降低通信开销并提升特征分布一致性。实验证实其在减少信息泄露的同时,持续改善了异常定位效果与重建抗逆性。
该研究提出首个利用遥感影像、数字表面模型及建筑足迹等多源地理数据,在统一流程中实现像素级与实例级建筑年龄估计的深度学习框架。方法通过微调预训练骨干网络融合多尺度栅格数据,并引入时序序约束损失以捕捉不同年代建筑的结构性差异。团队构建了香港建筑年龄基准数据集,源代码与数据已公开供评估使用。
该论文针对长视频理解中稀疏采样丢失细节、密集采样超出上下文限制的问题,提出利用检索增强生成(RAG)结合高质量视频片段。作者发现现有标准基准过于关注视觉显著性而非叙事结构,因此构建了 NarraScene 数据集,其边界标注基于物理、角色和叙事三层认知分类法,要求每个有效边界必须对应叙事层面的变化。
HazeSpikeMamba 提出一种紧凑的去雾框架,结合类脉冲局部路径与注意力状态空间全局路径以解决合成数据泛化不足问题。该模型含 2.02M 活跃参数,在 RTTS、URHI 和 HSTS 数据集上经自监督适应后,RTTS 的 BRISQUE 从 30.13 降至 27.72,NIMA 从 4.13 升至 4.87。
针对传统训练仅约束最终输出而忽略中间迭代的问题,论文提出 TraceViT 模型,利用程序化任务实现重写验证生成的语义单调变换链对视觉推理过程进行监督。该方法结合少样本演示推导的任务参考与对象工作区对每轮迭代进行 grounding,并通过软对齐允许模型自由分配迭代次数。
针对多模态大语言模型在情感推理中稀疏监督的局限,本文提出 OmniOPSD 框架,将标签级监督转化为证据丰富的教师理由,通过在线策略学生与本地自教师的紧密耦合进行训练。
本文研究视觉语言模型(VLM)是否能从 Google 街景图像中识别潜在的无障碍障碍。作者提出一种结合街景、ADA 指南和专家评分标准的检索增强框架,并在佛罗里达大学收集了连接 407 个 GPS 位置与轮椅停留行为的数据集。
该论文针对文生图模型存在的局部细微失败问题,提出结构化缺陷定位(SDG)框架,将诊断转化为包含位置、类型、原因及重要性的元组集合预测。作者构建了包含 30K 图像的 SDG-30K 数据集及专用评测协议 SDG-Eval,并设计了基于视觉语言模型的检测器与 BoxFlow-GRPO 奖励转换机制以支持模型对齐。实验表明该方法在结构化缺陷定位上优于主流专有模型,并能有效改善生成质量。
nuReasoning 是一个大规模真实世界数据集和基准,包含来自多个城市的 20,000 个 20 秒片段,配备同步多相机图像、LiDAR 数据、HD 地图、物体标注及人工验证的空间、决策和反事实推理标注。
论文介绍 ActQuant,一种针对视觉语言动作(VLA)模型的动作引导混合精度后训练量化框架。该方法通过跨张量比特分配器根据动作预测贡献度分配位宽,并利用动作感知曲率优化块内量化尺度。
该论文提出FSF-DMD方法,为具备流图结构的生成器提供分布级校正,替代了传统DMD依赖的辅助假分数网络以降低显存开销。研究基于扰动假设推导出生成器诱导的代理项,并扩展至反向模拟与从头训练变体。在ImageNet-1K 256x256实验显示,该方法在预训练初始化及从头训练中均能与现有DMD基线竞争。
该论文提出 TrackCue 框架,旨在解决自监督 LiDAR 场景流估计中依赖几何证据导致伪标签在稀疏或遮挡区域不可靠的问题。方法将密集图像轨迹转移为可靠的动静区分监督,通过视觉一致的运动补偿策略剔除瞬态跟踪误差,并将图像空间物体运动线索关联至 LiDAR 点进行标签细化。材料仅包含 arXiv 预印本及摘要,未报告真实部署结果或具体实验性能数据。
EgoKit 工具包在 Android、iPhone、iPad 等六种异构设备上实现了统一的 Egocentric 视频录制工作流,并支持头姿与 OpenXR 标准手部追踪。基于该工具采集的 HumanEgo 数据集经仿真验证,策略在 100 个未见布局中完成立方体放置任务的成功率为 60%-74%,表现接近 Project Aria 数据训练的效果。代码已开源供机器人学习与具身智能研究使用。
该研究将 162 个不同架构、目标函数及数据集训练的视觉模型的物体相似性结构分解为非负维度,发现通用维度更受概念图像属性驱动且能更好预测猕猴 IT 神经元活动与人类相似度判断。实验表明架构差异或模型性能无法解释通用维度的涌现,揭示了可解释性与语义内容作为驱动跨模型普遍性的隐性因素及其对生物视觉对齐的意义。
论文针对离散视觉分词器中固定码本导致有限数据熵预算快速耗尽的问题(即“熵悬崖”现象),提出可变码本大小量化方法,使码本容量沿序列单调增长。该方法在保持标准自回归 Transformer 训练流程不变的情况下,将 ImageNet 256x256 生成的 gFID 从固定码本的 18.16-27.98 降至 14.80(无 CFG),并在 6.84 亿参数规模下达到 1.71。
该研究提出利用从源任务提取的‘量化向量’来修补目标模型,从而在不进行接收端量化感知训练的情况下,将 3 位量化的 Top-1 准确率提升最高达 60%。该方法在多个视觉与语言模型及超过 30 个任务上均显示出显著增益,且无需接收方验证数据即可实现零样本、低成本的极低比特部署。论文还严格证明了量化向量的良定义性及其不受重参数化对称性的影响,并从局部几何角度解释了其作用机制。
该工作提出 BALD-SAM 框架,将贝叶斯主动学习中的分歧度量应用于 SAM 模型的主动提示选择。通过冻结主干网络并仅在小预测头进行不确定性建模,实现了大规模基础模型的可计算不确定性估计。该方法在涵盖自然、医疗、水下和地震领域的 16 个数据集上表现优异,在 14 个基准测试中排名前二,且在薄物体和复杂结构分割任务中超越人工提示及理想提示基线。
PerASCD 基于遥感基础模型 PerA,通过级联门控解码器与软语义一致性损失解决伪变化问题。该方法在 SECOND 和 LandsatSCD 数据集上分别取得 26.11% 和 65.21% 的 Sek 分数,超越此前最佳结果并具备优异数据效率。论文已接受发表于 IEEE JSTARS,代码开源。
现代扩散式修复虽能实现局部操作,但现有 AI 生成图像检测器主要依赖生成管线引入的全局伪影而非识别合成内容本身。作者提出一种无需模型访问的‘修复交换’诊断方法,通过恢复编辑区域外的原始像素来保留合成内容,该方法使商用 API 和偏差感知方法的准确率大幅下降至接近随机水平。
TinySense+ 是一种针对资源受限设备 Wi-Fi 人体姿态估计的高效压缩框架,通过向量量化生成对抗网络编码信道状态信息(CSI),并利用因果 Transformer 预测条件概率以进行算术编码。
研究评估了 249 项生物医学图像分析挑战,发现其数据集在地理分布、成像模态和问题类型上代表性有限。尽管榜单成绩显著,但受限的访问条件、不合规的许可及文档缺失严重制约了可复现性与长期复用。这些系统性缺陷暴露了基准生态的基础公平性局限,导致排行榜成功与临床相关性脱节。
该研究针对长尾人 - 物交互(HOI)检测中稀有类别样本稀疏的问题,提出无需训练的自适应多样性缓存(ADC)框架。该方法通过频率感知的容量分配策略为稀有交互分配更大缓存空间,并结合预测置信度与局部特征多样性进行缓存条目选择,以优化冻结检测器的推理性能。
Image Generation Based on Image Style Extraction 通过风格编码器与投影层对齐风格表征,在不改变下游模型结构下实现基于文本提示的细粒度风格控制。研究构建了包含图像、风格标签及文本描述的 Style30k-captions 数据集用于训练相关组件。该方法旨在解决自然语言难以精确描述细微风格且参考图引导难与传统文本条件对齐的问题。
该研究调查了 persona-conditioned visual interestingness 在 Qwen3-VL-8B-Instruct 中的表征几何,发现早期层主要编码图像身份,而特定人物结构出现在深层。提示词框架对内部表征的重塑作用强于人物身份,但人物内容对行为判断影响更大,表明表征距离不一定反映行为相关性。
推荐理由:揭示了多模态大模型中表征几何与行为判断的解耦机制,为理解模拟视角的内部运作提供了新证据。
该研究针对多步采样器主导训练成本的痛点,提出了 FewStepRL 框架,系统地将强化学习目标适配至少步扩散模型。方法包含三个核心阶段:将目标转换至 x-空间以统一策略预测基准;分解梯度为自回归与奖励增强项以降低计算复杂度;利用模型自身或辅助网络恢复瞬时速度以完成适配。
该研究审计了基于 MIMIC-CXR 数据集的多模态分类基准,发现记录级分割存在严重的标签泄露问题:约三分之一影像的标签与其入院诊断代码不匹配。在患者分离且对齐标签的评估下,各类不平衡策略未提升性能,树集成与逻辑回归无显著差异,预训练编码器也未带来统计显著的增益。作者提供了可复用的诊断工具、泄露感知协议及检查清单。