学习任务自适应低维语义空间以改善视觉分类
针对预训练文本编码器诱导的语义空间维度高且与视觉特征对齐弱的问题,论文提出 TaSS 框架,通过参数化几何变换优化类间距离和类内紧凑度,并利用轻量级 MLP 将冻结的视觉编码特征对齐至该空间。
推荐理由:提出 TaSS 框架,通过几何变换优化语义空间以提升分类判别性,在多个基准上平均提升超 3 个百分点。
技术方向
检测、分割、三维感知、定位与视频理解,以及相机、传感器和视觉工程。
985 条精选近 30 天 659 条共收录 6,653 条
针对预训练文本编码器诱导的语义空间维度高且与视觉特征对齐弱的问题,论文提出 TaSS 框架,通过参数化几何变换优化类间距离和类内紧凑度,并利用轻量级 MLP 将冻结的视觉编码特征对齐至该空间。
推荐理由:提出 TaSS 框架,通过几何变换优化语义空间以提升分类判别性,在多个基准上平均提升超 3 个百分点。
针对现有零样本单目度量深度模型评估依赖跨数据集平均分数的做法,本文指出其无法反映严重错误比例、偏差方向及共性失效图像。作者提出基于单图结果的评估框架,包含失效率(度量δ1<0.5)、结构对齐指标、尺度偏差与绝对误差等,并对比 11 种架构在 7 个日常场景基准集上的表现。
推荐理由:提出基于单图结果的深度模型评估框架,揭示日常场景中尺度误差仍是主要瓶颈。
论文针对视觉 3D 占用预测在遮挡和深度模糊下的可靠性问题,提出 VoxSAOR 框架。该方法量化局部语义一致性以获取结构稳定性先验,利用跨视角共识过滤不可靠对应关系,并通过类条件对角高斯分布建模特征位移与离散度。
推荐理由:提出基于特征空间代理的语义占用鲁棒性框架,通过建模偶然不确定性提升长尾识别与预测校准。
论文提出 LEDGE 框架,旨在分离文本到图像(T2I)自修正系统中“错误诊断”与“指令执行”两个瓶颈。研究在固定生成图像和编辑器的条件下,利用标准指令评估发现编辑器存在显著执行缺口;同时通过标准标签监督训练提升了批评者的诊断准确率。实验证明该方法能提升不同模型版本及未见对象类别的修正效果,并验证了跨编辑器和独立评测基准的有效性。
推荐理由:该框架将生成与编辑的失败解耦,通过引入标准指令独立评估诊断能力与执行能力,揭示了当前自修正系统的主要瓶颈在于编辑器的执行上限。
针对自动驾驶相机记录中的人脸和车牌隐私问题,该研究提出 FM-Anonymize 流程,结合 SAM 3 定位、SAM 3D Body 评估可见性及扩散模型合成替换。
推荐理由:该工作提出无需训练的匿名化流程,在人脸与车牌保护率上优于现有方法,并支持合成替换以保留关键点精度。
针对视频扩散 Transformer 中全注意力机制计算成本高的问题,本文提出 PoCoAttn,一种免训练的稀疏注意力框架。该方法将注意力分解为输入稳定的位置先验和输入依赖的内容残差,离线校准位置键并在线自适应选择内容键,同时通过步长自适应预算分配优化去噪轨迹中的误差放大效应。
推荐理由:提出免训练稀疏注意力框架,在保持高保真视频生成的同时显著降低推理延迟。
该论文介绍了 SelfMark 方法,该方法允许多模态大模型在其原生的视觉特征空间中构建和使用视觉标记进行推理。通过 locate-mark-read 流程建立标记与图像的显式空间对应关系,并在空间规划、密集计数等任务上联合训练单一模型。实验显示该方法在六个基准测试中优于现有专用方法,且效果在不同骨干网络上保持一致。
推荐理由:提出 SelfMark 方法,将视觉标记直接嵌入多模态大模型特征空间以增强推理能力。
针对点云视频自监督学习中存在的几何位置与时间掩码导致的信息泄露问题,论文提出了 PointWM 方法。该方法通过仅使用目标最后一次出现的位置和时间戳进行查询,并学习无需标注的潜在动作来预测未来帧的特征与几何结构,从而将任务从补全转变为真正的因果预测。
推荐理由:提出 PointWM 方法解决点云视频预训练中的信息泄露问题,在 HOI4D 任务上显著优于从头训练。
该研究引入 ReactBench-AD 基准,基于 NAVSIM 和 PhysicalAI-Autonomous-Vehicles 构建像素级反事实场景(插入行人或车辆),评估四款 VLA 和两款 WAM 发现其对突发危险反应微弱。针对 ReCogDrive 进行少量编辑场景微调后,模型学会紧急制动且能泛化至未见物体及真实场景,同时保持常规驾驶性能。代码与数据将公开。
推荐理由:该基准通过像素级编辑场景发现现有模型对突发危险反应微弱,并证明少量微调即可让 ReCogDrive 学会紧急制动且能泛化至真实场景。
针对隧道衬砌检测中裂纹等细长型与渗漏、脱落等面状型缺陷的几何差异,本文提出形态解耦分割(MDS)方法。该方法利用监督路由模块将特征分为线性流和面状流:线性流采用可变形条带注意力保持裂纹连续性,面状流结合金字塔池化捕捉区域上下文;两者通过门控跨形态注意力交互。
推荐理由:提出形态解耦分割方法,通过线性与面状流处理不同缺陷几何特征,在隧道衬砌检测任务中取得优于基线模型的效果。
该论文提出了 PRISM 框架,通过分层知识积累模块和优先级视觉记忆队列,实现了组合式零样本学习的在线测试时自适应。实验表明,Full PRISM 在 UT-Zappos、MIT-States 和 C-GQA 三个基准上均取得了最佳的开放世界 AUC 和谐均值结果,而 Adaptive PRISM-Lite 版本则在保持较小精度损失的同时显著提升了效率。
推荐理由:PRISM 框架将原型迁移扩展至测试时自适应,在三个基准上实现最佳开放世界性能。
该研究通过 FlipTest 对 1,680 帧初始画面中的 25 个任务进行评测,发现所有 11 款视频世界模型均无法准确捕捉微小物理变化(如物体位置毫米级偏移)对未来结果的影响。最佳模型准确率仅 18.3%,低于随机猜测水平,且缺乏对因果状态的识别能力;相比之下,视觉语言模型和代码智能体表现更佳。作者建议社区重新思考世界建模不应仅是像素预测,而需识别控制未来动态的因果状态。
推荐理由:FlipTest 评测显示现有视频世界模型无法捕捉微小状态变化,建议从纯像素预测转向识别因果状态。
该论文研究了视觉语言动作(VLA)模型中的新型后门攻击,提出结合触发器激活与指令条件抑制的设计。研究通过三种变体(跨模态触发、自抑制触发和多触发)在 SmolVLA 和 OpenVLA 上进行了评估,结果显示此类攻击能显著降低检测率并维持高成功率,同时保持清洁任务的完美性能,确立了条件抑制作为评估 VLA 后门威胁的重要维度。
推荐理由:该研究揭示了 VLA 模型中可被指令条件抑制的后门攻击机制,为评估此类安全威胁提供了新的维度。
面部表情识别在光照、曝光或分辨率偏离训练分布时性能急剧下降。本文在 RAF-DB 数据集上对输入空间条件化(使用四种确定性视图)和特征层条件化(FiLM/Conditional BatchNorm)进行了受控对比。
推荐理由:该研究在 RAF-DB 数据集上系统对比了输入空间与特征层两种条件化策略,发现前者在六种骨干网络中均提升准确率且成本更低。
论文提出了 StyleJudge,这是一种紧凑的视觉语言评估器,通过少量源到风格化参考对进行条件校准以评估图像风格迁移质量。在包含 12 种艺术风格的 878 对人标注基准上,该模型在未见风格上与人工评分的 Spearman 相关系数达到 0.325,优于 Gram-matrix、CLIP 和 LPIPS 等现有指标。
推荐理由:该工作提出了一种基于小样本参考对进行上下文学习的风格迁移评估模型,在未见风格上的人机相关性优于现有指标。
针对室内多层建筑中电梯或扶梯加速后进入长时间匀速巡航导致惯导退化、垂直位移低估的问题,论文提出 Local-Token Causal Attention 架构,将每秒惯性数据压缩为运动令牌并在有限缓存中维持初始状态。
推荐理由:提出 LTCA 架构解决长时惯性里程计在电梯匀速阶段的漂移问题,并在 MSIO 基准上验证了优于短窗口基线的性能。
论文提出了 RETR,这是首个尝试将事件相机引入 3D 车道检测的工作。作者构建了包含真实世界序列的 DSEC-3DLD 和大规模仿真序列的 Ev-OpenLane 两个多模态基准数据集。
推荐理由:提出首个将事件相机引入 3D 车道检测的模型,在真实与仿真基准上均达到最先进水平。
该研究通过替换实验发现,生成式模型中的思维链(think block)并非被执行的计划,而是对绘制内容的规格说明。内容无关的文本无价值;仅当指代明确时,命名主体能提升效果,否则无效或产生负效应。
推荐理由:研究证实思维链文本仅作为绘图规格而非执行计划,且其价值高度依赖指代明确性。
本文提出一种名为 GDS(generation-derived supervision)的新方法,用于提升脑电图(EEG)信号到图像的解码质量。研究指出单纯优化跨模态对齐无法显著提升重建效果,因此引入基于图像条件的教师网络,将静态特征映射至扩散Transformer的内部表示空间以指导生成过程。
推荐理由:提出生成衍生监督方法,解决 EEG 条件生成器难以跟随固定对齐目标的难题。
论文提出角色分离扩散 Transformer(RoSeDiT),利用 adaLN 监听机制将全局规则与图像 token 隔离,解决类条件 DiT/SiT 中控制器通道不足的问题。
推荐理由:提出 RoSeDiT 架构,通过控制器通道实现全局规则隔离与确定性采样流形压缩,在更少参数和步数下超越 SiT 基线。