MSGAT:基于相似空间融合的稀疏图注意力网络用于图文检索
MSGAT 提出一种多头脉冲图注意力网络,通过 Sim-Fuse 策略融合细粒度离散与全局连续表示以解决跨模态对齐难题。在 Flickr30K 和 MSCOCO 数据集上,该方法在匹配设置下优于 ANN 及现有 SNN 基线,仅用两个时间步即达到相当或更优性能并将理论模块级能耗降低 55%。代码详见补充材料。
MSGAT 提出一种多头脉冲图注意力网络,通过 Sim-Fuse 策略融合细粒度离散与全局连续表示以解决跨模态对齐难题。在 Flickr30K 和 MSCOCO 数据集上,该方法在匹配设置下优于 ANN 及现有 SNN 基线,仅用两个时间步即达到相当或更优性能并将理论模块级能耗降低 55%。代码详见补充材料。
DLC 是一种架构与损失项无关的训练时控制器,通过 LLM 基于小批量反馈子集的质量指标动态调整现有训练损失的权重。该方法在低光照增强、去雨和真实世界超分三个领域验证了其在不同任务中引导模型向更优平衡点收敛的能力。
EchoDiST 提出了一种无需真值位移场的无监督超声心动图心肌运动估计框架,通过结合自蒸馏联合学习与扩散条件网络提升性能。该模型在三个数据集(含两个外部测试集)上评估显示,相比七种代表性学习方法,其在解剖对齐、心肌应变及功能评估任务中均取得统计显著的提升。EchoDiST 仅需单次确定性前向推理即可完成推断,有效支持了有限解剖监督下的可靠运动估计与心脏功能定量分析。
针对 AI 生成图像检测器难以应对新兴生成模型的问题,论文提出了 EvoKnow 这一无需回放历史数据的框架。该方法通过保留共享的法证基础并增量添加隔离残差专家,结合分析性增量路由器实现对新域的快速适应。
FastJEV 通过共享上下文锚点、候选前缀复用及决策引导剪枝,在不额外训练的情况下将 OmniJev 模型的候选深度降低 43.75% 至 45.83%,同时保留 93.66% 至 97.52% 的原始任务得分。
ComCLIP 提出一种轻量级单轮次后训练方案,通过冻结 CLIP 文本编码器并引入调节对比损失、MSE 锚定及 DINOv2 关系蒸馏,在 ViT-B/16 线性探测任务上视觉特征迁移性达 48.99(基线 42.28)。作为 LLaVA-1.5-7B 的即插即用视觉编码器,该方案无需重对齐投影器或大语言模型,在八个基准测试中未破坏下游兼容性。代码与模型已公开,适用于计算机视觉与人工智能领域。
FlyMark 将密钥消息写入 3DGS 文件参数,利用果蝇光感受器几何固定载体方向,在保持位级一致性的同时实现高清洁比特准确率与视觉保真度。该方法仅需锥查询、舍入及多数投票即可提取,无需场景优化或学习解码器,且能在合成与真实场景中清晰分离匹配与非匹配密钥。
CGARD 提出一种在扰动邻域内联合优化学生对抗与教师协作样本的对抗蒸馏方法,通过约束教师协作示例不增加交叉熵损失来改善鲁棒知识迁移。实验在 CIFAR-10 和 CIFAR-100 数据集上进行白盒及黑盒评估,结果显示该方法相比强对抗蒸馏基线实现了持续且一致的鲁棒性提升。
论文提出 LR-V2X 框架,旨在解决车载无线通信中固有的丢包不可预测性问题。该方法将受损接收到的潜在特征转换为空间先验,并结合自车上下文重建缺失的鸟瞰图(BEV)信息。
该综述系统梳理了基于区域、特征及深度学习的多模态遥感图像配准主流方法,分析了辐射、几何等差异带来的高精度配准挑战。文章总结了公开数据集特性并指出当前瓶颈,为相关领域研究人员提供全面参考。
CARE 提出一种基于教师 - 学生蒸馏的约束注意力精炼框架,在冻结主干网络下于 CUB 数据集达到 78.5% Top-1 准确率。该方法利用 DINOv2 中间层知识并引入多样性与稀疏性正则项,确保解释区域保留类别相关证据。实验涵盖 Oxford-IIIT Pet、Stanford Dogs 及 Stanford Cars 等细粒度分类任务。
该研究提出无需任务特定微调的框架,利用多模态大语言模型(MLLMs)对可见食物进行盘点、身份验证及区域支持度检查。通过单次全图审查识别遗漏并触发至多一次针对性恢复,最终在常见有效输出样本上提升了物品级定位质量与能量估算精度。
IntrinSync 提出统一框架,通过通道级 1-to-N 映射联合分解反照率、光照等属性,并利用闭环一致性目标建立逆 - 正渲染互逆性。实验在三个数据集上验证了该方法在内禀估计和正向渲染方面的性能及物理一致性。此外,该框架支持基于物理的图像编辑功能,允许显式操作内禀属性并渲染回 RGB 图像。
Diffusion Meta-Prompt (DMP) 框架利用扩散模型学习提示分布,仅需自然语言描述即可合成新提示,无需访问原始任务示例或损失函数。该方法在分类、检索及文生图任务中提升泛化能力,相比提示检索方法降低超 90% 存储与推理成本,复合分类平均增益达 2.0%,特定数据集对最高提升 8.5%。代码已开源并获 NeurIPS 2026 接收。
该论文研究了是否可将无字幕的原始网络视频作为预训练语言模型的中间阶段训练数据。研究将帧编码为连续视觉 token 并让模型预测下一个视觉 token,随后对 Qwen3-1.7B 进行图像 - 文本指令微调并与未经历此阶段的模型对比。
针对统一多模态扩散大模型(dLLMs)迭代解码成本高且现有蒸馏方法难以兼顾生成与理解的问题,本文提出 Omni-Diffusion-Distill 框架。该方法在离散 token 空间对齐图像与文本的蒸馏过程,通过两阶段训练让学生模型跳过解码步骤并优化中间状态,同时利用成对碰撞惩罚和熵匹配引导解决退化问题。
针对重复快速动作下布料结果存在显著变异性的问题,研究者在四项动态任务中执行了同一轨迹共 269 次 rollout。结果显示,这种变异性主要由布料物理属性驱动且随速度增加,幅度远超机器人噪声并无法被现有四款校准后的现代布料仿真器复现。团队同步发布了包含 OptiTrack、视觉与机器人日志及对应仿真孪生的数据集,以评估学习策略可靠性。
论文提出 VICO 框架,解决强化学习后训练中固定任务导致的学习信号坍塌问题。该方法联合训练智能体与环境重写器(EnvRewriter),后者通过编辑场景图、图表或掩码等可验证图像结构并重渲染,生成难度适配当前模型能力的标签有效样本。
LinSlot 提出一种基于线性表示假设(LRH)的架构,联合从原始图像数据中解耦物体与属性表示。实验在多个数据集上验证了该模型优于最先进方法的 DCI 分数,并证明了其在 slot 空间对 LRH 的经验支持及利用解耦特性进行图像编辑的能力。
OcuBench多源基准包含10,280对合成数据、732对伪真实数据和458张独立测试图,支持配对与非监督评估。提出的OcuFlow采用几何自适应表示与单步像素MeanFlow,在盲测中以67.32%选择率获6.2倍于次优方法的支持。代码与数据集将公开释放。
该论文发布了一个由两台 Blackmagic URSA Cine Immersive 相机一手采集的立体 VR180 数据集,包含 1,211 个样本(636 段视频和 575 张静态图),提供原生 Blackmagic RAW、单眼鱼眼 HEVC 及半等距 HEVC 格式并附带工厂镜头标定与转换工具。
论文提出 SLVR 框架,旨在解决多模态大模型过度依赖语言先验的问题。该方法将显式思维链与潜变量推理结合,通过掩码答案文本并对比视觉干扰项进行训练,随后对规划、定位、证据选择和整合四个阶段分别施加监督信号。基于 Qwen2.5-VL-7B 的 SLVR 在 MMVP 和 BLINK Relation 等基准上取得显著提升,证明了结构化潜变量监督能在避免推理开销的同时增强细粒度视觉推理能力。
推荐理由:提出 SLVR 框架,通过结构化潜变量监督实现规划、定位与证据选择分离,在 Qwen2.5-VL-7B 上提升多模态推理基准表现。
针对大多模态模型在复杂指令遵循与外观一致性上的不足,研究团队推出 RI SE Bench++ 基准,涵盖时空因果等六维推理的 65 种细粒度任务类型。该基准包含 1000 个中英文标注案例,评估显示最强开源方法 GPT-Image-2.5 Sunburst 准确率仅为 56.6%。此外,团队发布免训练智能体框架 RISE-Agent,集成推理规划与工具增强执行,在多样化任务中表现优于多数现有方案。
论文 V-CoLA 针对混合架构中线性注意力机制下传统压缩方法失效的问题,提出一种无需训练的视觉 Token 压缩框架。该方法引入感知唯一性的重要性准则和自适应合并策略,在保持与线性注意力分块并行性兼容的前提下,实现高效压缩。
据央视新闻,我国具身智能产业正从实验室迈向产业化落地。中关村人工智能企业建成接入人类视频与仿真合成数据的平台,累计交付数据达150万小时。全国已有70多家具身智能训练场建成启用,在建及规划中还有40余家,形成三大核心集群。深圳等地实训数据已投入真机训练,轮臂式人形机器人具备独立完成开关电柜等复杂作业能力。工信部等部门部署专项行动构建产业闭环,推动产品向千行百业渗透。
MixTok 是一种混合视觉分词器,结合紧凑的一维全局表示与稀疏的二维局部细化令牌。该模型通过内容自适应路由器在高分区域用二维特征替换一维恢复的空间特征,共享解码器重构图像。在 ImageNet 256×256 上,MixTok 在约 128 和 131 个内容令牌的平均预算下,分别取得 rFID 为 1.195、gFID 为 1.95 的生成与重建性能。
北京 Physical AI Infra 平台公司厘清智能宣布完成天使轮及天使 + 轮数亿元融资,蚂蚁集团连续两轮加码并领投。资金将用于物理世界数据管线、模型研发与训练、物理仿真、能力评测及跨本体适配部署系统。该公司已推出 T1 系列数采手套(含 T1 Lite、T1、T1 Pro)和 EgoDepth 设备,致力于构建 Physical AI 时代的智能基础设施。
美国具身数据初创公司 Mecka 宣布完成 6000 万美元 B 轮融资,由红杉资本领投,英伟达、微软 M12、高通及三星参与投资。Mecka 致力于构建数据采集硬件与多模态模型以将物理世界数字化,其手部姿态识别精度已达当前最优水平,并推出了包含超 4250 小时数据的 Egoverse 生态系统。公司预计年底年化收入将达到 3 亿美元。
Physical AI Infra 平台公司厘清智能近日完成数亿元天使轮及天使+轮融资,其中蚂蚁集团连续两轮加码并领投天使+轮。该公司由前英伟达科学家李一鸣创立,致力于建设连接模型智能与物理世界的基础设施平台,涵盖数据采集、模型训练、物理仿真及部署等环节。目前公司已推出 T1 系列数采手套和 Ego 数采设备用于记录真实任务信息,融资将加速其技术研发与产品落地。
MAdam 是一种无需修改求解器或优化器的即插即用包装器,通过偏好条件曲率预条件化重构方向,解决了多目标优化中的权重失配与几何失配问题。在跨任务学习、帕累托前沿恢复及物理信息神经网络等场景中,MAdam 在所有求解器家族上均优于 Adam。代码已开放于 https URL,论文为 NeurIPS 2026 预印本版本 arXiv:2606.03904v2。
EduGage 数据集及基准发布,利用 PPG、ECG、EDA、EEG、IMU、心率、体温及眼动数据评估自学视频中的学习者参与度。在 16 名参与者的交叉验证中,模态感知参考模型 MAE 为 0.80,83.18% 样本误差小于 1,优于无传感器、统计、深度时序、基础模型及 LLM 基线。该数据集包含同步多模态信号、对齐的探针评分、视频元数据等,支持细粒度传感器参与度建模的可复现研究。
CHOQOLATE 是一种基于 2-additive Choquet 积分的可解释层,通过合并相关概念解决 CLIP 等视觉语言模型中概念纠缠问题。该方法在四个数据集上实现了精度与可解释性的良好权衡,其权重稀疏且语义连贯的节点无需显式监督即可组织潜在空间。此外,该层将 Choquet 权重直接映射为 Shapley 值以支持测试时干预,并在消除虚假概念的基准测试中表现媲美需重新训练的方法。
该研究表明,扩散 Transformer 中残差流的噪声保留负担决定了模型对清洁、噪声或速度预测目标的适应差异。实验证实,通过引入空间索引超连接(SiHC)直接扩展残差流带宽,可在 ImageNet $256^2$ 数据集上实现 FID 1.71 的生成效果。论文目前处于审稿中状态,相关代码与权重尚未公开。
mbariml 是一款基于 Python 的深海影像与视频分析流水线,利用 Ultralytics YOLO 模型生成可审查的兴趣区域,并通过视觉相似性分组支持批量人工确认或拒绝。该工具允许标注人结合 SAM3 分割模型进行验证、重标及编辑,将结果导出为训练数据、统计信息及元数据,同时兼容 Pascal VOC 数据集导入与扩展。
论文提出 DTG-FF 方法以评估前向传播学习的扩展性,发现其在真实数据(如 CIFAR-10/100、ImageNet)上的性能显著落后于反向传播基线,且合成基准会高估该方法的泛化能力。系统审计还显示,在同等硬件条件下,标准反向传播的吞吐量优于 DTG-FF,不支持单纯以内存占用作为前向传播学习的优势理由。
作者 Leon Pohl 等人提出 Bagzel,这是一个开源的 Bazel 扩展,旨在将机器人数据集构建建模为基于工件的构建过程,以解决 ROS bag 录制文件转换为机器学习数据集时存在的工程开销大和迭代慢的问题。
该研究提出利用对数编码将高动态范围(HDR)图像分布与预训练生成模型的潜在空间对齐,仅需轻量级微调即可实现高质量 HDR 视频生成。作者引入基于相机模拟退化的训练策略以恢复输入中不可观测的细节,在多样场景及复杂光照条件下均取得优异效果。该方法证明无需重新设计模型架构或增加数据需求,即可有效处理不同的图像形成机制。
FCBNet 基于冻结 ConvNeXt 骨干网与特征校正块,在 WeedBananaCOD 和 WeedMap 数据集上 mIoU 超 85%。该模型训练仅需 0.06-0.2 小时且可训参数减少超 90%,优于 U-Net、DeepLabV3+ 等基线。代码已开源,论文将发表于 CVPR 2026。
针对现有视觉语言动作模型缺乏故障诊断与恢复监督的局限,本文提出 RoboFAC 框架并构建包含 9,440 条错误轨迹和 78,623 个问答对的大规模失败数据集。开发的多模态轻量模型在任务理解、故障分析与修正上表现优异,故障分析准确率比 GPT-4o 高 34.1%,作为外部监督器集成后四项任务相对提升 29.1% 且延迟更低。模型与数据已公开。
该方法通过预训练单模态模型并微调,结合 MLP 头与批量增强技术,在 FPU23 超声和 UPMC Food-101 数据集上取得最佳平均结果。基于 ViT-L/16 视觉与 GPT-2 文本架构的模型,在 UPMC Food-101 数据集上达到 93.29% 的最先进准确率。相关脚本已开源供传统方法对比参考。