一种评估多输出结构化预测指标的新方法:基于任务不变性的框架
该论文针对多输出结构化预测中仅有一个真值标签但存在多个有效输出的评估难题,提出利用人类隐含使用的任务特定不变性(如图像边界或命名实体)作为诊断工具。研究通过引入增强损失函数鼓励模型输出符合这些不变性,实验表明这能显著提升分布型指标的可靠性,而传统指标变化不大。
推荐理由:该文提出利用任务特定不变性评估多输出结构化预测指标,发现增强损失可显著提升分布型指标可靠性。
技术方向
检测、分割、三维感知、定位与视频理解,以及相机、传感器和视觉工程。
985 条精选近 30 天 659 条共收录 6,653 条
该论文针对多输出结构化预测中仅有一个真值标签但存在多个有效输出的评估难题,提出利用人类隐含使用的任务特定不变性(如图像边界或命名实体)作为诊断工具。研究通过引入增强损失函数鼓励模型输出符合这些不变性,实验表明这能显著提升分布型指标的可靠性,而传统指标变化不大。
推荐理由:该文提出利用任务特定不变性评估多输出结构化预测指标,发现增强损失可显著提升分布型指标可靠性。
Fight World Model 是一种可编程的游戏世界模型,通过将规则驱动的战斗执行与视频渲染分离,利用确定性编译器生成空间时间对齐的交互代理,实现了伤害缩放、免伤机制及角色场景定制等功能。该模型在 FightWorld Corpus 上训练,无需重训渲染器即可支持多种技能机制,并在动作保真度、打击反应一致性和外观保持方面优于现有游戏世界模型。项目代码与资源可通过提供的链接获取。
推荐理由:该报告提出 Fight World Model,通过分离规则执行与渲染及引入交互代理,解决了现有视频世界模型在战斗状态一致性与可定制性上的不足。
论文提出 CrossWeave 框架,旨在通过查询 2D 图像检索对应的 3D 环境或物体,作为机器人空间推理的基础机制。现有方法仅在整体场景或物体层面学习对齐,缺乏细粒度局部结构监督;CrossWeave 证明仅对一组稀疏的 2D-3D 对应关系进行监督即可训练单模型同时完成场景级和实例级检索。
推荐理由:提出CrossWeave框架,通过稀疏2D-3D对应关系监督实现单模型跨模态检索,在ScanNet和3RScan数据集上超越现有方法。
针对现有方法需离线处理或依赖固定长度片段导致噪声的问题,本文提出 Hierarchical Step Decomposition (HSD),一种利用多模态大模型能力的无需训练框架。
推荐理由:提出无需训练的在线视频步骤定位框架,通过分层分解提升时序定位精度与推理速度。
针对现有视频问答基准无法评估多轮对话中跨回合信息保持能力的不足,作者提出了 VideoMemBench 数据集与评测框架。该基准包含 326 个视频和 2476 个对话回合,其中 1387 个样本依赖前序回合(包括对视觉内容的回溯和对模型自身回答的引用)。
推荐理由:该基准通过构建具有时序依赖的视频对话数据集,量化了多模态大模型在长视频上下文中的信息保持能力。
SelfThinker 是首个无需人工图像标注即可将统一模型生成的视觉思维转化为更强理解力的自进化框架。该方法通过采样候选辅助图像并利用冻结的理解路径进行评分,利用高效用思维通过流匹配优化生成器并作为策略蒸馏的私有教师上下文。
推荐理由:提出首个无需人工标注的自进化框架,利用生成路径辅助理解并提升多模态模型的视觉推理能力。
arXiv 论文提出 Don't Risk It Planner (DRIP),这是一个端到端的仅 LiDAR 规划框架,将占用预测与轨迹条件清除及不确定性估计相结合。
推荐理由:提出仅用 LiDAR 的 DRIP 规划器,通过轨迹条件分布风险评估碰撞概率,在密集人群导航中相比基线减少冻结并提升成功率。
论文提出了 PET-DINOv2-2D,这是首个专门针对 2D PET 影像进行预训练的 DINOv2 模型。研究将其与原始自然图像预训练的 DINOv2 及 OmniRad 等开源编码器进行了对比评测。结果显示,尽管预训练数据量较少,该模型在正常/异常分类、病灶分割和无复发生存预后三项下游任务中均匹配或超越了现有方法,且在标签稀缺场景下优势更为明显。代码已公开。
推荐理由:该工作发布了首个基于 PET 影像预训练的 DINOv2 模型,在少样本条件下于分类、分割及预后任务上表现优异。
针对吉像素级高分辨率宽幅(HRW)成像中前景稀疏、分辨率极高及目标数量多样带来的挑战,本文提出 ElasticFormer 模型。该模型通过动态分配计算资源适应不同前景比例,利用 ElasticSelector 模块预测并选择包含目标的窗口以集中算力,结合三阶段训练策略解决无边界框标注时的损失函数问题。
推荐理由:提出弹性计算架构与动态稀疏选择机制,在保持高解析度宽幅图像检测精度的同时大幅降低算力消耗。
针对域泛化语义分割任务中难以兼顾抑制域敏感干扰与保留细粒度空间线索的挑战,本文提出 SIFR 框架。该方法利用频域建模统一调节异构先验交互与密集解码器细化,通过光谱引导的不变融合过滤域敏感响应并保留互补信息,同时引入基于低频统计归一化的解码器细化模块以稳定多尺度特征。在合成到真实、真实到真实及恶劣天气等多个基准上的实验表明,SIFR 显著优于现有最先进方法。
推荐理由:提出基于频域的双流框架 SIFR,在无需目标域数据条件下提升语义分割的泛化性与精度。
Zhiyuan Zhang 等人提出了 MatchDown 方法,用于替代传统步长采样、最近邻重采样或多数投票的标签下采样步骤。该方法通过区域与网格单元的最小成本匹配构建粗粒度目标,确保保留尽可能多的区域并证明不可避损的下界。
推荐理由:提出 MatchDown 方法,通过最小成本匹配构建粗粒度分割目标,在 COCO 等数据集上显著减少区域丢失并提升实例计数精度。
该研究提出了 Cross-Encoder Anchor Refinement (CEAR) 方法,旨在将异常判别从辅助训练域迁移到未见类别并定位细微缺陷。该方法在构建原型前连接同一图像的两种视觉编码路径:利用预训练的工业产品识别卷积编码器建立图像特定记忆,通过交叉注意力让空间锚点查询该记忆并进行残差细化;随后用图像条件化的正常和异常查询门控锚点聚合以构建原型进行评分。
推荐理由:提出跨编码器锚点细化方法,在工业与医疗数据集上实现零样本异常检测性能领先。
针对标准回归头预测误差导致边界位移的问题,论文提出 NIF 模块,利用法向交点场对粗粒度定向框进行精细化拟合。该方法在 DOTA-v1.0、DIOR-R 和 HRSC 等数据集上取得最佳单尺度结果,且在冻结检测器时仍能提升 AP75 与 mAP。代码已开源。
推荐理由:提出 NIF 模块,用可微几何拟合替代回归头,在冻结检测器前提下提升定向目标检测精度。
针对视频扩散模型推理中三维全注意力二次方成本高的问题,现有动态稀疏注意力在激进稀疏下保真度下降。本文提出免训练的 AB-Attention 方法,通过仅在查询块内聚类估算重要性、按包含概率加权采样以及优化内核以利用 Tensor Core,在保持甚至提升 PSNR(最高提升 4.4 dB)的同时跳过 89--92% 的注意力计算,实现高达 2.23 倍的端到端加速。代码已开源。
推荐理由:提出免训练的高效视频扩散注意力机制,在 Wan2.1 和 HunyuanVideo 上跳过 89-92% 计算量同时提升 PSNR。
针对思考型视觉语言模型在高分辨率图像中遗漏细节的问题,研究提出利用注意力头作为训练信号的对齐方法。该方法让模型在学习推理陈述视觉事实时,将注意力聚焦于关键区域而非背景,从而提升细粒度感知准确率。
推荐理由:提出利用注意力头作为训练信号的对齐方法,在无需多轮推理的情况下提升细粒度视觉任务准确率。
论文指出视觉语言模型将坐标离散化为文本进行自回归解码会忽略空间结构并累积误差。作者提出在冻结骨干网络后附加轻量级几何兼容预测头,直接回归连续的功能框和轨迹关键点。实验显示该方法在 ShareRobot-Bench 上将功能预测 mAP 提升 85%,轨迹预测误差降低超 60%,吞吐量是基准的 3.8 倍,接近 RoboBrain 水平。
推荐理由:该工作证明冻结骨干网络的 VLM 中间层已包含丰富空间信息,通过轻量几何头即可将轨迹预测误差降低超 60%。
UMI-Live 是一套全栈开源的双手通用操作接口(UMI)系统,旨在无需物理机器人遥操作即可采集数据。该系统集成了相机与激光雷达惯性传感、板载计算及电源,无需外部追踪设备或环境内校准。
推荐理由:开源了无需外部追踪的双手 UMI 硬件与软件栈,提供同步 SLAM 重建与 VLA 策略训练支持。
针对图像智能体整合多源材料并完成端到端视觉委托的挑战,本文引入 Visual Commission Bench (VCB) 基准,包含 12 个类别共 600 项任务及三个互补层级。
推荐理由:作者提出 VCB 基准与 V-Protocol 框架,在严格任务成功率上显著优于 SCOPE。
arXiv 发布论文 Youtu-Parsing-Omni,提出一种全模态解析器,将文档、图像、音频和视频转换为时空结构化记录。其设计基于单一编码器和单一任务图式,在 OmniDocBench v1.6 上取得开源模型最佳整体分数(96.96),并在图表解析和化学指纹匹配等特定任务上表现领先。代码与权重已公开。
推荐理由:该工作提出统一编码器与图式架构,在文档、音视频多模态解析任务上取得开源模型最佳表现。
针对现有代理式图像编辑器在步骤失败时重试工具单一、人工评分不可靠的问题,本文提出 EditAgent 框架。该框架将每个步骤路由至通用编辑器与专用方法,并为候选结果附加验证记录,利用现成视觉语言模型(VLM)进行列表级并行评测。实验显示,该方法在专家标注基准上显著优于微调奖励模型,且能以不超过一半的调用次数完成决策。
推荐理由:该文提出 EditAgent,通过路由策略与验证记录解决通用编辑器失败率高及评测不可靠问题。