DispatchRAG:基于真实世界协议的交通事故视频应急调度决策框架
DispatchRAG 是一个结合 RAG 检索机制与大语言模型推理器的决策支持框架,旨在利用视觉语言模型(VLM)生成符合日本交通事故响应协议的应急响应建议。
DispatchRAG 是一个结合 RAG 检索机制与大语言模型推理器的决策支持框架,旨在利用视觉语言模型(VLM)生成符合日本交通事故响应协议的应急响应建议。
该论文提出 Peak-End-Net 框架,旨在解决视频美学评估中缺乏大规模基准和主观性强的问题。方法利用预训练的图像美学头生成帧级先验以识别显著时刻,设计美学节奏编码器捕捉时间演变,并通过动态门控融合机制提升鲁棒性。实验在 VADB 和 DIVIDE-3K 数据集上验证了该方法的最先进水平,代码与模型已开源。
针对视觉地点识别(VPR)在真实部署中依赖固定阈值且难以应对环境变化的问题,本文提出 Visual Place Recognition Auditing 框架,利用视觉语言模型(VLM)联合推理查询与候选图像以评估匹配结果。
论文对 Segment Anything Model 3 (SAM 3) 进行了多任务实证评估,涵盖场景分类、目标检测和实例分割,且无需微调。研究发现仅使用文本提示效果较差,加入视觉提示能显著提升准确率;结合两者时效果依任务而异。在通用域开放词汇检测与分割基准上,SAM 3 的纯文本性能优于多个对比模型,但无视觉提示时的准确率仍受限,未来工作需探索参数高效微调方向。
针对现有新类别发现方法缺乏语义解释的问题,该论文提出 xNCD 框架,通过在预训练多模态模型对齐视觉特征与语言先验,在结构化语义概念空间进行无标签概念表示学习与伪标签分配。
针对 3D Gaussian Splatting(3DGS)在近景渲染时质量下降及基于扩散模型的增强方法存在伪影的问题,本文分析了其根因是参考图与近景之间的尺度差距导致特征非尺度不变。
作者发布了 UnderOneFacade,这是迄今为止最大的跨国界和跨大陆的 3D 建筑立面基准数据集,包含总计 27 亿个标注点的厘米级精度点云及层级化、标准化的语义标签。
推荐理由:该数据集提供全球跨域、厘米级精度的建筑立面分割基准,揭示了现有模型在细粒度识别与泛化上的瓶颈。
针对高分辨率图像中关键视觉线索难以捕捉的问题,本文提出 Perceive-to-Reason (P2R) 框架,将细粒度视觉推理拆解为“定位证据”的感知阶段和“回答问题”的推理阶段。
该方法在真实世界 OCT 数据上实现视网膜色素上皮(RPE)损失 Dice 系数 0.88、椭圆体带(EZ)损失 Dice 系数 0.87,厚度误差仅 2.08μm。其测试 - 重测组内相关系数分别达 0.995 和 0.988,与独立阅片者一致性相当且不受 B 扫描密度显著影响。该技术可支持地理性萎缩临床试验标准化结构终点及常规眼科客观评估。
PhotoQuilt 提出一种免训练的引导式分块去噪框架,解决扩散模型难以兼顾高分辨率与全局结构的难题。该方法先以低分辨率生成全局构图固定布局,再在潜在空间上采样并注入噪声恢复生成功能,随后在固定分块内进行独立去噪。实验表明,该框架在全局结构与局部真实感上均优于当前基线,且无需二次注意力成本即可扩展至大幅面画布。
针对成像系统中因运动或像差导致的平移变退化难题,该研究提出基于奇异值分解(SVD)的图像复原框架。方法依据累积能量百分比筛选小奇异值以抑制噪声放大,并在双向线性、高斯及简谐三种运动模型下验证了恢复细节与去模糊效果。论文为 arXiv 预印本,代码与权重暂未开放。
HandwritingAgent 是一款无需特定风格训练的语言驱动智能体,能在离散网格画布中自主生成 SVG 格式的手写序列。该模型利用大推理模型对目标字符进行几何分析,支持对话或非对话模式下的多语种及复杂数学科学表达式生成。实验表明其在模仿、识别等任务上性能超越最先进生成模型,且具备更高效率与泛化能力。
针对跨模态知识蒸馏中高频带对齐松散的推断问题,作者提出将 RGB 教师与红外学生的共识分解为相位(空间位置)和幅度(大小)。实验显示细粒度下相位不相关而幅度仍保留,因此建议低频带进行复数特征监督、高频带仅监督幅度。
COLLAR 是一种免训练的扩散模型优化框架,旨在解决现有方法在物体级控制中存在的视觉伪影和局部区域精确控制困难问题。该方法通过视场(FoV)扩展逐步优化物体级特征:首先利用跨尺度语义对齐模块将物体特征注入扩展视场分支以消除空间语义差距;其次引入循环特征注入机制,基于频率自适应策略用上下文对齐的局部信息更新全局骨干网络;最后将扩展视场分支作为枢纽整合上下文对齐的特征。
针对扩散 Transformer 在生成超训练范围分辨率时性能下降的问题,本文提出 SEGA 方法。该方法无需额外训练,通过在去噪步骤中根据潜变量的空间频率结构动态调整 Rotary Position Embeddings 各组件的注意力缩放比例,从而改善高分辨率合成中的结构一致性与细节保真度。实验表明,SEGA 在多种目标分辨率下均能提升生成质量,优于现有免训练基线。
针对全球南方两轮车事故率高且研究滞后的问题,作者发布了 MOTOR 数据集,这是首个专注于两轮车的多视角、多模态大规模资源。该数据集包含来自 16 名骑手的 25 小时以上视频数据,整合了前后及头盔视角视频、可穿戴眼动追踪、车载音频及 GPS/加速度计等遥测信息。
FundusGround 新基准引入空间定位病灶证据,收集了 10,719 张眼底图像及 15,595 个标注病灶,利用 ETDRS 网格映射至九个视网膜区域并生成 72,706 个问题。该工作通过答案准确率与病灶级推理双指标评测显示,引入空间证据能持续提升模型性能与透明度,解决了现有基准忽视视觉证据的临床可解释性问题。
该研究提出 VISTAQA 基准,包含 1,157 个专家 curated 样本,覆盖六种任务类型和六个视觉领域,要求模型不仅回答正确,还需提供支持答案的精确分割掩码。材料引入了 GROVE 统一评估指标,通过每样本几何平均强制文本准确性与定位质量共同生效,防止任一维度弥补另一维度的不足。实验显示即使最强系统在该指标下表现也有限,凸显了推理准确性与视觉证据对齐之间的巨大差距。
推荐理由:VISTAQA 基准与 GROVE 指标强制模型同时输出正确答案和像素级证据,揭示了当前多模态大模型在推理与定位对齐上的显著差距。
该研究利用 FixMatch 及其等变扩展 Dense FixMatch,在 Cityscapes 和 BDD100K 数据集的目标检测与语义分割任务中验证了方法的有效性。实验表明,当某任务可用标注样本较少时,不变/等变半监督学习性能显著优于监督基线,且后者通常表现更佳。研究证实该方法是从有限标注数据中进行多任务学习的有前景方向。
SynVA 是一款结合流匹配方法与学习方法的血管网格及解剖一致动脉瘤合成工具包,仅基于生理原理和统计先验即可生成大规模数据集。该工具发布包含 50,000 个全标注网格样本的数据集,预训练可提升真实数据上的点云分割与形态参数估计效果。代码将在论文被接收后开源。
论文指出将 Qwen3-VL-8B-Instruct 蒸馏至 3:1 Mamba-2/attention 混合架构时,虽然整体推理效率提升且视觉推理能力保持,但在 OCR 和文档任务上性能大幅下降。
推荐理由:针对混合架构蒸馏中 OCR 任务失效问题,提出无需额外参数的密度加权残差对齐方法 HEED,在保持推理效率的同时显著提升细粒度文本理解能力。
Med-DisSeg 提出轻量级 Dispersive Loss 辅助正则化,通过联合通道与空间建模增强结构响应及多尺度自适应校准,解决目标与周围组织视觉相似导致的特征可分性不足问题。在涵盖三种成像模态的五个公开数据集上,该框架在小尺寸、形变及边界模糊目标的分割任务中展现出有效性与鲁棒性。源代码与预训练模型将在论文接收后发布。
针对长视频理解中密集采样导致视觉 token 过多、稀疏采样易丢失关键证据的问题,论文提出 EchoPrune 方法。该方法无需训练,通过将冗余视频 token 解释为可重建的时间回声来区分新事件与重复信息。利用查询引导的跨模态相关性和帧间对应匹配计算时间重建误差对 token 评分,在固定解码预算下使模型能处理多至20倍帧数,在 LLaVA-OV-7B 上实现5.6倍的推理加速和5%的性能提升。
Xuan Gong 等人提出 RAPO(Reflection Anchor Policy Optimization),一种基于 GRPO 的策略优化方法,旨在解决长链思维推理中视觉信息衰减问题。
该论文提出了针对预训练视觉模型的闭式线性探测数据集蒸馏方法 CLP-DD。该方法利用冻结特征的闭式解替代迭代更新,在 ImageNet 基准上相比 LGM 大幅降低计算与显存成本,同时保持或超越性能。代码已开源。
推荐理由:提出 Closed-Form Linear-Probe Dataset Distillation,利用预训练特征闭式解显著降低计算与显存开销。
针对统一多模态模型中理解与生成分离导致协同效应不确定的问题,本文提出理解导向后训练(UNO)框架。该框架将理解任务作为直接监督信号,通过编码语义抽象和结构细节的目标,实现从理解到生成的有效梯度流动。实验表明理解可作为生成的高效催化剂。
推荐理由:提出理解导向后训练框架,利用语义与结构监督引导生成表示。
EgoEMG 引入包含双侧腕部 sEMG、眼中心视频及动作捕捉数据的 25.9 小时多模态数据集,涵盖 68 名参与者、60 类手势及 10 种物体交互。研究建立 EMG-only、vision-only 与融合基准,显示添加 EMG 使 ViT-L 单帧误差从 7.39°降至 7.06°,但未见用户泛化仍具挑战。项目页面提供代码与数据访问入口。
ProS2T 提出了一种无需源数据、仅利用预训练视觉语言模型和无标签目标数据的完全无源域适应新范式。该方法通过结构优先与形状优先构建互补视图,渐进式融合预测以生成高置信度伪标签,在 Office-Home、VisDA-C 和 DomainNet-126 数据集上达到最先进水平并提升零样本分类性能。作为即插即用模块,ProS2T 有效解决了预处理导致的物体形变与结构线索丢失问题。
Jiaxuan Li 提交的 Beyond Visual Cues 论文因测试集误用于训练导致数据泄露而被撤回,报告的最先进结果不可信。该研究提出的 STFER 框架旨在利用大视觉语言模型生成身份一致性文本以增强跨模态鲁棒性,但在 AT-USTC 数据集上的实验结论已失效。作者已撤稿并准备修正研究以防止传播不准确发现。
针对基于大语言模型的多模态情感识别依赖静态参数化记忆且易产生幻觉的问题,本文提出 AffectAgent 框架。该框架通过查询规划器、证据过滤器和情感生成器三个联合优化的专用智能体进行协作决策,利用 MAPPO 端到端优化并共享情感奖励以确保理解一致性。
该论文提出 TEMPlate Entropy Regularisation (TEMPER) 方法,用于从 ArcFace 等人脸识别嵌入中移除性别和种族等软生物特征属性。该方法在变分自编码器的潜在空间学习线性映射,以最大化辅助分类器的预测熵并保留配对相似度。实验显示,相比十种先前的后处理方法,TEMPER 在降低属性泄露的同时保持了更高的真实匹配率。
TinyNeRV 框架提出 NeRV-T(0.80M 参数)和 NeRV-T+(1.68M 参数)两种配置,利用频率聚焦知识蒸馏在 UVG 基准上将 PSNR 平均提升 0.70 dB 至 0.78 dB。研究验证了 INT8 量化近乎无损且 INT4 经重训练适配有效,确立了资源受限场景下容量、监督与精度的实用权衡。该成果已发表于 IEEE Access 2026 年期刊。
该论文揭示了多模态混合专家(MoE)模型在视觉语言任务中存在的“看得见却想不出”现象,即模型能准确感知图像内容却在后续推理上失败,而纯文本输入却能正确解决相同问题。
推荐理由:研究发现多模态 MoE 模型存在视觉感知与推理脱节现象,提出路由干扰假设并验证了通过干预激活领域专家可提升复杂视觉推理任务性能。
针对多模态大语言模型视觉令牌冗余问题,提出 MI-Pruner 方法。该方法基于投影空间中的点互信息(PMI)计算相关性得分,以反映跨模态相关性与模内冗余度。无需依赖内部注意力图或修改架构,即可无缝应用于任何预训练 MLLM 进行推理加速。
论文介绍 LatentUM 统一模型,其核心创新在于将所有模态表示于共享语义潜在空间中,消除生成视觉状态时的像素解码中介,使内部推理更灵活高效。实验显示该模型在 Visual Spatial Planning 基准上达到最先进水平,通过自我反思提升视觉生成功能,并在共享空间内预测未来视觉状态以展示世界建模能力。代码与模型已开源,论文为 NeurIPS 2026 Oral 录用版本。
推荐理由:该工作提出共享语义潜在空间的统一模型架构,消除像素解码依赖,在视觉空间规划基准上达到最先进水平并展示世界建模能力。
Project Imaging-X 是对超过 1000 个开源医疗影像数据集的最大规模综述,指出当前数据在模态、器官和任务上碎片化且分布不均,限制了通用医学基础模型的发展。作者提出元数据驱动融合范式(MDFP)以整合分散资源,并发布了交互式发现门户及结构化汇总表格,支持端到端的自动化数据集集成与快速检索。材料为 arXiv 预印本,提供项目仓库链接供社区使用。
针对图像旋转估计的边界不连续难题,该研究对比了三种回归与两种分类法在十六种架构上的表现。分类法在十三种 DRC-D 骨干网中误差最低,其中结合圆周平滑标签(CSL)的方法将平均绝对误差降至 0.81°。在 COCO 数据集上,采用无痕迹协议后,基于 ConvNeXt V2 Base 的圆周高斯分布(CGD)分类法达到 3.76°误差,优于此前最强模型的 6.09°。
该研究针对物体中心学习中固定数量槽位导致同一实体区域被多个槽位竞争的问题,提出一种轻量级的槽位合并操作。方法通过计算槽注意力图的软 IoU 量化重叠度,利用质心更新策略合并选定的槽对以保留梯度流,决策阈值由重叠统计推断且无需额外可学习模块。
针对漫射飞行时间 LiDAR 违反单射线假设的问题,提出一种估算每个像素足迹及相对空间敏感度的简单空间校准程序。该方法利用扫描高反贴片与背景减法恢复像素级响应图,为跨模态对齐提供显式的 LiDAR 到 RGB 对应关系。研究在 ams OSRAM TMF8828 设备上进行了演示验证。
针对大规模预训练视觉模型难以直接应用于 3D 人体骨骼数据的问题,作者提出 Skeleton-to-Image Encoding (S2I) 这一新颖表示法。该方法通过将关节按身体部位语义进行分区排列并调整至标准图像尺寸,将骨骼序列转化为类图像数据。