Sketch-Omni:首个基于草图的感知多模态大模型发布
论文提出了 Sketch-Omni,这是首个专为处理草图而构建的感知多模态大模型(Perception MLLM)。该模型利用边缘检测技术将标注照片转化为类草图数据,并通过光导关系对齐训练,实现了从草图到照片的实例级定位。
推荐理由:该工作构建了首个基于草图感知的多模态大模型,通过边缘检测与关系对齐技术实现了从草图到照片的实例级定位。
论文提出了 Sketch-Omni,这是首个专为处理草图而构建的感知多模态大模型(Perception MLLM)。该模型利用边缘检测技术将标注照片转化为类草图数据,并通过光导关系对齐训练,实现了从草图到照片的实例级定位。
推荐理由:该工作构建了首个基于草图感知的多模态大模型,通过边缘检测与关系对齐技术实现了从草图到照片的实例级定位。
ProGeo-RC 提出原型引导语义可靠性估计与结构化语义 - 几何误差校准模块,解决半监督医学图像分割中伪标签可靠性不足问题。在 ACDC 和 MVAA-CT 数据集 10% 标注设置下,其 DSC 提升 0.37%,Jaccard 提升 0.49%,显著优于现有方法。该工作已接受发表于 IEEE BIBM 2026,代码与数据许可状态待进一步确认。
该论文提出 P-SER 框架,通过重构复数值和向径差通道 HRRP 中的主散射点及观测几何,利用空间结构、目标尺度与能量分布推导类级散射原型与样本显著性先验,为特征学习与旧类知识保留提供物理约束。
Mamba3R 通过仅训练 128 万参数适配器,在冻结骨干网络下实现长序列三维重建的几何质量优化。该模型在公开室内外数据集及机器人实测轨迹上,较循环基线降低轨迹误差并提升表面与深度精度,单指标最高增益达 40%。离线回放实验显示,RTX 4060 显卡在 5.1 GiB 显存下平均吞吐 11.7 FPS,覆盖 10 Hz 传感器速率且吞吐量波动不超过 1.4%。
R2CL 框架通过建模双网络间的置信度关系,将未标注区域划分为熵正则化、方向知识转移及可靠监督锚点三类角色进行混合训练。该方法在多个数据集上提升了区域重叠与边界相关指标,尤其在前景稀疏的 MVAA-CT 数据集优势显著。论文已被 IEEE BIBM 2026 接收,代码与数据许可状态待进一步确认。
该研究在 VinDr-Mammo 数据集上隔离了输入分辨率影响,训练 18 个探测器共 108 种组合,发现从 512x416 升至 1600x1280 像素时,mAP50 中位数由 0.626 提升至 0.660。最佳结果由 DINO 配合 ConvNeXt-S 骨干网实现,在最小病灶上 mAP50 提升 0.074,训练与推理时间分别增加至 1.40 小时和 113.7 毫秒。
该论文提出了 SettleSplat 系统,旨在解决现有方法难以处理相机视场内物体被操作(即视图内场景变化)的问题。系统将像素级不确定性提升为高斯动态性场以剔除瞬态干扰,并利用渲染深度不确定性加权几何矛盾来分离真实变化与优化不足区域。
针对动态驾驶场景中生成数据与现实观测差距大的问题,论文提出 ReconDreamer# 框架,实现重建与生成的自进化闭环协同及基于几何先验的自适应地面建模。在 Waymo、nuScenes 等基准测试中,该方法显著提升了三维表征能力:Waymo 数据集上横向偏移 6 米时,NTA-IoU 和 NTL-IoU 分别提升 8.8% 和 3.0%,FID 降低 15.1%。
推荐理由:提出自进化闭环框架,通过生成与重建模型互促提升动态驾驶场景的三维表征能力。
该研究评估了 Qwen2.5-VL-7B 和 InternVL3.5-8B 在建筑场景中被撞击危险检测任务中的表现,发现尽管模型能识别物体并编码空间关系,但高达 100% 的远距离场景被误判为危险。实验表明工人存在与否对决策的影响远超空间距离,且注意力干预无法消除这种共现偏差。通过让模型基于自身编码的空间表征进行条件化决策,可将特异性从 0.36 提升至 0.58,优于阈值重校准方法。
推荐理由:研究发现 VLM 误报源于决策层对共现先验的过度依赖,通过条件化空间表征可将特异性从 0.36 提升至 0.58。
该论文介绍了一种名为 DRE 的方法,通过融合对齐的美观、线框和 UV 接缝视图,利用冻结 ViT 分类器评估 3D 资产的可用性。在 TexVerse 数据集上该方法达到 86.36% 的平衡准确率,并在外部测试集上取得 88.9% 的准确率。研究证明专用诊断视图能发现仅靠美观渲染无法识别的缺陷,且推理过程无需依赖元数据。
ScienceVision 是一个针对科学三维数据理解与推理的跨域基准,包含生物学、化学等五个领域的共 250 个专家审核问题。研究在三种设置下评测了 12 个模型:原生三维工件访问、结合 MCP 协议的专家工具增强以及渲染二维图像。
论文提出 RI-SAM3 方法,旨在利用 SAM3 的大规模视觉语言预训练能力,通过学习适合每个目标类别的文本 token 来解决跨域少样本分割中视觉匹配对目标外观变化敏感的问题。
该研究对 10 种点云架构进行了跨域基准测试,发现旋转不变架构在姿态鲁棒性上表现最佳,但在噪声鲁棒性上排名较低。作者重新训练了所有模型并验证了简单的不变性损失能有效提升遮挡和 LiDAR 噪声下的准确率,且标准骨干网络在全球旋转下仅存在角度无关的精度偏移。材料提供了用于分析点云鲁棒性和复现结果的基准包与工具。
推荐理由:该基准通过统计假设检验对比了旋转不变架构与标准骨干网络在姿态、噪声和遮挡下的鲁棒性,并验证了简单的不变性损失可提升特定扰动下的准确率。
该研究针对摄像头在低光和恶劣天气下性能下降的问题,利用 HD 雷达的高可靠性及 LiDAR 的精确测距优势,提出一种早期融合架构,将相机图像与前视视角的点云数据结合。实验基于 RADIal 数据集进行,结果显示该融合方案在车辆检测和自由可行驶空间分割任务上,表现优于最新的独立模型及其他融合模型。
MoTWorld 提出一种无模板、数据高效的统一 3D 和 4D 骨架生成框架,利用流匹配技术通过单次前向传播为整个序列生成时间对齐的骨架。该方法支持显式骨架数量控制及不确定性估计,并通过从大规模 3D 数据初始化到中等规模 4D 数据的课程学习解决配对数据不足问题。实验表明其在静态 3D 绑制和动态 4D 重建预测中均实现了高质量与时间一致性结果。
论文提出 Splaxel 框架,针对大规模场景重建中多 GPU 训练通信开销大的问题,采用像素级局部渲染与全局合成策略替代传统的 Gaussians 同步。该方法结合几何与透射率可见性预测减少冗余,并通过无冲突相机视图合并提升利用率。在包含多达 1.2 亿高斯的大规模数据集上评估显示,相比现有最先进分布式框架速度提升最高达 7.6 倍,同时保持高重建质量。
OmniFaceRig 是一款全自动端到端管线,能将无口腔建模的静态 3D 角色网格转化为包含最多 155 个混合形状及程序化牙齿牙龈舌头的内口感知 FACS 绑定。
论文提出 GDMD 框架,通过优先优化蒸馏梯度而非原始像素输出来重新定义奖励机制,解决了传统扩散蒸馏在少步生成中牺牲质量的问题。实验显示,该方法使 4 步模型的质量超越多步教师,并在 GenEval 和人类偏好指标上显著优于现有 DMDR 结果。
推荐理由:提出 GDMD 框架,利用梯度强化学习解决蒸馏与采样速度冲突,在少步生成任务上超越多步教师及现有 DMDR 方法。
该研究提出一种结合卷积块注意力机制(CBAM)的改进 U-Net 架构,通过统一通道、空间及像素级注意力机制优化特征提取。实验基于 Dice 系数和 Jaccard 相似性指数评估,结果显示该方法在胸部 X 光肺部分割任务中显著提升了准确率。相关论文已上传至 arXiv,预印本版本为 v3。
LENS-GRF 模型结合全局视觉 Transformer 与 YOLO11s 提案,在 ACNE04 数据集上实现 80.82% 准确率及 95.89% 内部精度。然而该模型在未适配的外部队列中仅达 35.00% 准确率,显著低于独立训练的基线(42.50%)。研究指出需提升损伤检测可靠性并建模分级差异差异方可投入临床使用。
该研究证明奇数次实球谐函数在特定代数条件下与其镜像全等,并确定了满足此性质的曲线族分布。作为应用,该方法为亏格为零的表面提供了在参数化、位置及尺度变换下完全不变的描述符,能够精确记录手性并保持轨道距离稳定性。
该研究提出直接局部到全局深度学习框架,从衍射测量中无需迭代优化即可重构全场相位图。模型在 AuPd 和 MoS₂材料间实现零样本跨域迁移,相比迭代 ePIE 方法将端到端重建时间缩短约 10 倍,且在评估的学习基线中取得最佳 MSE、PSNR 和 MS-SSIM 指标。
该论文针对点监督变化检测中伪标签不完整和噪声大的问题,提出了一种引入 SAM2 先验的两阶段框架。第一阶段利用 SAM2 生成候选掩码并设计双时相掩码选择策略,辅以轻量级 CNN 模块提升边界质量;第二阶段构建教师 - 学生自训练闭环进行持续优化。实验表明该方法在 WHU-CD、LEVIR-CD 和 SYSU-CD 三个基准数据集上表现优异,优于现有弱监督方法并接近全监督水平。
针对真实海洋场景难以获取配对增强参考的问题,该方法提出两阶段框架,利用 MediumRBF 构建介质感知高斯场景并共享估计。第二阶段通过外观转换共识校准视图变化,联合调整物体辐射度与介质外观以生成连贯的增强效果。实验表明其在提升新视角增强和跨视图一致性方面表现优异,代码与项目页面已公开。
该论文针对大视觉语言模型在工业异常检测中难以将判断转化为精确像素级定位的问题,提出了首个引入同策略自蒸馏的框架 MOPDA。该方法通过混合轨迹监督结合学生生成的部署相关路径与教师提供的证据条件化监督,并利用最终判断作为语义条件构建图像特定的正常与异常锚点以生成异常图。
针对水下目标检测受场景域偏移影响大且现有基准缺乏真实环境表征的问题,该研究提出首个基于外观、场景构成及采集几何的领域标签框架。通过系统分析发现,人类标注质量与深度学习模型性能均存在显著的领域依赖性差异。引入物理意义的领域标签后,研究者能够量化并改进数据收集策略,从而提升检测器在多样化水下环境中的鲁棒性。
针对多人视频姿态标注中稀疏人工修正易导致跨身份位置不可靠的问题,论文提出 IMPose 框架。该方法将传播的修正视为几何先验而非最终预测,利用目标帧视觉证据进行解码器修正,并结合关键点感知的身份状态保持对应关系,形成闭环时序修正机制。
推荐理由:提出 IMPose 框架,通过闭环修正传播解决多人姿态标注中的身份歧义问题,在 PoseTrack21 数据集上显著提升了稀疏修正下的跟踪精度。
针对单图估计日常物体 9D 姿态因缺乏大规模监督而困难的挑战,作者发布了 Every9D-22M 数据集。该数据集包含来自 11.4 万个以物体为中心的视频的 2280 万张真实图像,覆盖 630 个类别。
针对资源受限处理器,本文提出全三值化视觉 Transformer(FTerViT),将权重矩阵与归一化参数均转为三值,激活保持 8 位。通过引入 TernaryBitConv2d 和 TernaryLayerNorm 算子及知识蒸馏训练,在 DeiT-S 骨干上以 5.81 MB 体积达到 77.47% ImageNet-1K 精度,优于现有三值化方法。
该论文提出了Aes3D框架,包含首个专注于3D场景美学评估的数据集Aesthetic3D和轻量级模型Aes3DGSNet。该方法直接基于3D高斯原语预测场景级美学分数,无需渲染多视角图像,从而降低了计算成本和硬件要求。实验表明该方法在保持轻量设计的同时实现了优异性能,为3D场景美学评估建立了新基准。
针对大模型注意力机制无法直接应用于稠密目标跟踪的问题,本文提出 GateMOT 在线跟踪框架。其核心是 Q-Gated Attention,将 Query 转化为可学习的门控单元以调制 Key 特征,实现显式相关性选择并降低计算复杂度。
针对自动车牌识别系统在低质量成像和安装不佳场景下的挑战,该工作将原有基准数据集规模扩大至原来的三倍以上,新增两天采集数据并修正标注错误。研究引入了车牌级、车辆级和图片级的细粒度标注,包括文本、可读性等级、车型颜色及相机身份等。
该方法通过联合角度运动图像与 Token-Patch 晚期交互机制,解决了传统双编码器压缩全局嵌入而丢失局部对应关系的问题。在 HumanML3D 和 KIT-ML 数据集上的实验表明,其性能优于最先进文本 - 运动检索方法并提供可解释的细粒度对应。代码已随补充材料提供。
针对现有导航基准依赖大模型生成且存在歧义的目标描述问题,本文提出了 LangMap 基准和 HieraNav 任务。该工作基于 HM3D 构建,首次通过人工验证为室内三维扫描数据添加了涵盖场景、房间、区域和实例四层语义的标注,覆盖 414 个类别及超 18K 任务。
VERIDAH 算法在 T2w TSE 矢状位(98.30%)和 CT 影像(99.18%)上超越现有模型,准确识别胸椎与腰椎计数异常。该方法基于多分类头结合加权序列预测,代码与模型已开源。
ErodedFace 通过参考视频预处理策略,解决现有图像防御无法适配视频基础 3D 换脸且计算开销大的问题。该框架采用两阶段课程学习机制,在保持防护强度的同时实现生成速度提升 10.0 倍。实验表明其能有效抵御未经授权的 3D 换脸攻击及常见变换与净化方法。
该论文提出了 FLEG 方法,这是一种前馈网络,能够从多视图图像重建语言嵌入的 3D 高斯泼溅(3D Gaussians)。针对现有方法输入视角固定且存在语义冗余的问题,FLEG 引入了几何 - 语义双分支蒸馏框架,支持可变数量的未标定和未定位的多视图图像作为输入。
FSDAM 框架仅需 90 个标注示例即可联合预测空间注意力并生成结构化解释。该方法将注意力分解为场景上下文、当前焦点、预期下一焦点及因果解释,并通过双路径架构与训练时视觉语言对齐机制缓解任务冲突与数据稀缺问题。论文已在 arXiv 发布并被 IEEE/CVF WACV 2027 录用,展示了在多个驾驶基准上的零样本泛化能力。
OpenSR-SRGAN 是一个模块化、配置驱动的框架,支持用户通过 YAML 配置文件在任意传感器波段设置下训练和评估生成器 - 判别器架构。该工具无需修改模型代码即可暴露损失函数、归一化等组件,简化了跨遥感数据集的超分辨率流程复现与部署。其张量基模型组件经适当预处理后也可适配其他配对成像数据。
作者提出 MedQ-Bench 基准,涵盖 5 种成像模态和 40 余项质量属性,包含 2,600 个专家标注的感知查询与 708 个样本的描述任务。对 23 个 SOTA MLLM 的评估显示当前模型能力初步且不稳定,突显了针对医疗 IQA 进行优化的紧迫性。