MatOS:面向材料研发的科研智能体系统正式开源
北京中关村学院 AI 材料研究所发布的 MatOS 科研智能体系统正式开源。该系统将数据、知识、工具等组织为科学资产,通过有状态自适应工作流执行长周期任务,并利用证据驱动机制持续进化资产库。
推荐理由:MatOS 系统开源,通过分层资产图与有状态工作流解决材料研发长周期任务中的工具接入、状态保持及经验复用难题。
北京中关村学院 AI 材料研究所发布的 MatOS 科研智能体系统正式开源。该系统将数据、知识、工具等组织为科学资产,通过有状态自适应工作流执行长周期任务,并利用证据驱动机制持续进化资产库。
推荐理由:MatOS 系统开源,通过分层资产图与有状态工作流解决材料研发长周期任务中的工具接入、状态保持及经验复用难题。
DEEP 基准通过 KITTI 和 nuScenes 数据集评估感知计算对下游决策的实际增益,发现 34%–54% 的感知模式升级反而增加损失。研究指出仅凭漏检率提升选择信号会导致平均测试决策增益降低 7.4%,且引入 20% 延迟预算后仅轻量级路由器优于随机策略。该工作强调应以预算受限的决策预言机为基准,而非将全精度推理视为上限。
该论文提出 Chameleon 框架,将量化格式本身作为离散变量,按权重通道和激活层动态从 INT8、FP8 等集合中选择,而非固定单一格式。在 SDXL、PixArt-$\alpha$ 等模型上,该方法在所有位宽设置下均取得最佳 FID,推理速度较 FP16 提升 1.09 倍且权重体积缩小 3 倍。材料为预印本,未提及同行评审状态或开源代码仓库。
推荐理由:提出 Chameleon 框架,通过动态选择激活与权重的混合格式在固定位宽下实现最佳 FID 与推理速度提升。
针对现有压缩图像复原方法难以同时满足像素保真、人类感知和机器偏好之间的矛盾,论文提出 FDIR 框架。该框架分两阶段工作:首先利用质量引导的单步流模型生成结构先验,随后通过流条件细节细化网络预测残差以保留纹理细节并忠实于原图。在 LIVE1 和 DIV2K 数据集的严重压缩设置下,FDIR 在所有指标中均取得最佳或次优排名,且在下游检测、分割等任务中表现优异。
研究对 CelebA 数据集及预测模型进行多维审计,发现女性感知面孔虽整体获高吸引力标注更多,但衰老与男性化特征组合对其吸引力的负面关联显著强于男性。SHAP 分析显示体型属性对女性为负贡献而对男性近乎中性,Grad-CAM 揭示年轻女性关注面部中心而年长男性聚焦额头,证实了视觉评估中的性别双重标准。
$\Delta$LPS 是一种利用梯度信息识别离散状态空间内有效移动的离散朗之文启发式后验采样器。该方法支持跨所有 token 维度的并行更新,且对掩码或均匀状态的离散扩散先验训练范式无关。实验表明,其在图像复原、空间映射及 DNA 序列生成等线性与非线性逆问题任务中,性能优于近期离散扩散后验采样器并可与强连续扩散求解器竞争。
本文对 CNN 和 ViT 架构在多种训练范式下的分布外(OOD)检测置信度评分函数进行了系统性基准测试。研究发现,简单概率分数主导误分类检测,而基于几何、重构或残差的分数在不同表征坍缩程度下表现各异。研究提出了一种基于 PCA 的投影过滤流程以提升性能,并开发了仅利用已训练分类器的神经坍缩(NC)指标来预测其竞争性 OOD 检测器清单的方法,无需额外 OOD 数据或先验知识。
论文介绍了一种名为 FlowTool 的新方法,通过将基于工具的图像编辑任务建模为流匹配问题,直接对输入图像和用户指令条件化地生成高质量工具参数的分布。该框架结合了视觉语言模型骨干网络与扩散 Transformer 参数生成器,无需自回归推理即可有效完成结构化连续编辑参数的生成。
FReSH-IR 提出一种基于层级编码器 - 解码器架构的轻量级全合一复原方法,通过傅里叶跳连接融合频域分解与空间处理。该方法在保持复原质量的同时,相比 Transformer 模型减少 80% 的参数和计算量,显著降低资源消耗。实验表明其在受限资源系统中具备高效能比,适用于物理 AI 中的恶劣天气图像增强场景。
DeCO 将细粒度数据集蒸馏定义为预算约束下的判别性证据保留,利用预训练 TransFG 教师模型的注意力展开识别信息区域并构建类级证据库。在 CUB-200-2011、FGVC-Aircraft 和 Stanford Cars 数据集上,该方法在不同 IPC 预算下均优于代表性核心集与蒸馏基线。该研究作为 NeurIPS 2026 研讨会预印本公开于 arXiv,代码与权重未提及开放许可。
针对暗区微小亮度差异难以恢复的问题,该方法提出 Color-Adaptive Low-Light Enhancement (CALE),结合图像条件强度表示 Box--Cox Intensity Adaptation 与结构校正流网络。
DispatchRAG 是一个结合 RAG 检索机制与大语言模型推理器的决策支持框架,旨在利用视觉语言模型(VLM)生成符合日本交通事故响应协议的应急响应建议。
针对扩散 Transformer 在生成超训练范围分辨率时性能下降的问题,本文提出 SEGA 方法。该方法无需额外训练,通过在去噪步骤中根据潜变量的空间频率结构动态调整 Rotary Position Embeddings 各组件的注意力缩放比例,从而改善高分辨率合成中的结构一致性与细节保真度。实验表明,SEGA 在多种目标分辨率下均能提升生成质量,优于现有免训练基线。
针对全球南方两轮车事故率高且研究滞后的问题,作者发布了 MOTOR 数据集,这是首个专注于两轮车的多视角、多模态大规模资源。该数据集包含来自 16 名骑手的 25 小时以上视频数据,整合了前后及头盔视角视频、可穿戴眼动追踪、车载音频及 GPS/加速度计等遥测信息。
FundusGround 新基准引入空间定位病灶证据,收集了 10,719 张眼底图像及 15,595 个标注病灶,利用 ETDRS 网格映射至九个视网膜区域并生成 72,706 个问题。该工作通过答案准确率与病灶级推理双指标评测显示,引入空间证据能持续提升模型性能与透明度,解决了现有基准忽视视觉证据的临床可解释性问题。
该研究利用 FixMatch 及其等变扩展 Dense FixMatch,在 Cityscapes 和 BDD100K 数据集的目标检测与语义分割任务中验证了方法的有效性。实验表明,当某任务可用标注样本较少时,不变/等变半监督学习性能显著优于监督基线,且后者通常表现更佳。研究证实该方法是从有限标注数据中进行多任务学习的有前景方向。
该论文提出了针对预训练视觉模型的闭式线性探测数据集蒸馏方法 CLP-DD。该方法利用冻结特征的闭式解替代迭代更新,在 ImageNet 基准上相比 LGM 大幅降低计算与显存成本,同时保持或超越性能。代码已开源。
推荐理由:提出 Closed-Form Linear-Probe Dataset Distillation,利用预训练特征闭式解显著降低计算与显存开销。
ProS2T 提出了一种无需源数据、仅利用预训练视觉语言模型和无标签目标数据的完全无源域适应新范式。该方法通过结构优先与形状优先构建互补视图,渐进式融合预测以生成高置信度伪标签,在 Office-Home、VisDA-C 和 DomainNet-126 数据集上达到最先进水平并提升零样本分类性能。作为即插即用模块,ProS2T 有效解决了预处理导致的物体形变与结构线索丢失问题。
针对多模态大语言模型视觉令牌冗余问题,提出 MI-Pruner 方法。该方法基于投影空间中的点互信息(PMI)计算相关性得分,以反映跨模态相关性与模内冗余度。无需依赖内部注意力图或修改架构,即可无缝应用于任何预训练 MLLM 进行推理加速。
Project Imaging-X 是对超过 1000 个开源医疗影像数据集的最大规模综述,指出当前数据在模态、器官和任务上碎片化且分布不均,限制了通用医学基础模型的发展。作者提出元数据驱动融合范式(MDFP)以整合分散资源,并发布了交互式发现门户及结构化汇总表格,支持端到端的自动化数据集集成与快速检索。材料为 arXiv 预印本,提供项目仓库链接供社区使用。
针对图像旋转估计的边界不连续难题,该研究对比了三种回归与两种分类法在十六种架构上的表现。分类法在十三种 DRC-D 骨干网中误差最低,其中结合圆周平滑标签(CSL)的方法将平均绝对误差降至 0.81°。在 COCO 数据集上,采用无痕迹协议后,基于 ConvNeXt V2 Base 的圆周高斯分布(CGD)分类法达到 3.76°误差,优于此前最强模型的 6.09°。
针对遥感图像大尺度变化与目标稀疏分布导致的多模态大语言模型过拟合问题,研究提出参数高效微调策略 GRASP。该方法利用冻结视觉令牌网格提取空间块构建结构化软提示,通过问答引导的稀疏融合机制动态聚合任务上下文并过滤背景噪声。在多个 RSVQA 基准测试中,GRASP 在保持高参数量效率的同时取得了与现有微调及提示方法具有竞争力的性能表现。
VIOLA 是一种标签高效框架,旨在解决多模态大语言模型在新视频域泛化时标注数据稀缺的问题。该方法通过密度 - 不确定性加权采样策略,从有限预算中选取兼具多样性、代表性和信息量的样本;同时构建混合池并引入置信度感知检索与提示机制,使模型能区分验证过的真实标签与噪声伪标签。实验在九个基准上使用三个大语言模型表明,该框架在低资源设置下显著优于各类基线,实现了低成本下的鲁棒适应。
针对现有多模态知识型视觉问答(MKB-VQA)基准普遍存在的‘视觉捷径’问题,作者构建了 RETINA 新基准和 MIMIR 多图像多模态检索器。该基准通过 LLM 驱动流程自动构建,包含 120k 训练集和 2k 人工 curated 测试集,专门引入次要主体(相关实体)的图文对以消除捷径依赖。
针对视觉语言模型在推理时可能复述敏感信息的问题,本文提出了 Cross-Modal Attention Guided Unlearning (CAGUL) 框架。该方法利用跨模态注意力机制识别低重要性的视觉 token,通过外部模块编码遗忘指令以阻断隐私泄露,同时保持模型的参考行为与效用,且无需修改预训练参数。
针对文本查询与细微视觉线索对齐难、长尾分布及大模型微调成本高的问题,提出无需训练的粗到细框架 AnomalyLMM。该方法先利用通用检索模型初排,再通过填空式重排序机制引导多模态模型关注特定区域并生成异常描述,最后计算语义对齐进行重排序。在 PAB 和 UCC 数据集上,Recall@1 分别提升 1.93% 和 1.79%,且具备高度可解释性。代码将公开。
该论文针对实例分割中人类标注或模型生成轮廓不可靠的问题,提出 CB-LNL(Copula-Boundary Learning with Noisy Labels)框架。
针对机器人遥操作等低延迟沉浸式流媒体应用,研究量化了显著性预测精度带来的压缩收益递减规律。实验表明,仅需 52 FPS 的轻量级预测器即可捕获真值预言机 65% 的码率节省,而算力增加 38 倍后无额外增益。因此,在延迟受限场景下采用轻量级显著性预测器是兼顾性能与效率的实用选择。
该研究在仿真与 Cyber-Physical Mobility Lab 实验中验证,利用跨摩擦条件池化数据可使多步均方根预测误差保持在匹配数据的 1.5 倍以内。闭环追踪结果显示,池化策略在低摩擦轮胎下误差差值为 0.1 cm,高摩擦下为 0.2 cm,实现了无需专用适配方法的变摩擦部分自适应。论文已提交至 2027 年欧洲控制会议(ECC),代码与数据待开放许可。
针对现有知识分流方法参数开销大且依赖固定组件分配的问题,本文提出特异性引导知识分流(SGKDiv)。该方法从成对前馈通道构建知识单元,保留原生计算结构;结合校准的条件路由与互补正则化,实现自适应的知识专业化。实验表明,其在多种模型设置下优于稠密及 MoE 基线,且在八个数据集上展现出更强的下游适应能力。
论文提出 PACIL 方法解决无标签数据下的类别增量学习问题。该方法利用 CLIP 零样本预测作为起点,但指出其混淆了名称偏差与真实分布不平衡。PACIL 通过先验选择规则修正类先验,并在白化特征空间使用固定先验的 von Mises-Fisher 混合模型细化每个图像的后验分布。
Sidewalk Stewards 是一款填补自动提取与部署就绪人行道网络之间差距的视觉分析系统,通过协调的空间视图支持用户引导修正并实时反馈质量。对比传统工作流,该系统在跨城市案例研究中显著提升了错误识别效率及修正完整性,少量人工干预即可改善多项路网质量指标。目前该工具处于 arXiv 预印本审查阶段,代码与数据待开放许可后获取。
HDR-VDC 数据集收录 4K HDR 流媒体畸变视频,在 60/120 像素/度视角及 8 倍亮度差异下测量画质损失。研究提出融合 PU21 显示模型与 PPS 透视缩放的预处理框架,适配 35 种主流指标以消除观看条件影响。该方法使现有质量评估能准确反映不同亮度和距离下的真实视频体验。
研究结合 HiDDeN 与 StegaStamp 构建互补水印,在 MS-COCO 和 CelebA-HQ 数据集上验证了双嵌入后仍具高可解码性。面对 UnMarker 的非语义或语义单独攻击,单一水印通常保持强鲁棒性,需连续攻击才能显著削弱信号。该预印本发现多类型水印组合能增强抗单阶段移除能力,并指出 LPIPS 指标在面部图像上存在失真风险。
本文研究二元目标下固定评分在不同组别混合时的表现,证明通用优势判定是共 NP-难问题,并给出了网格近似证书与错误包络。实验显示,冻结的 ResNet-50 在 ImageNet-C 上多数比较稳健,但存在反转案例;对 Stable LM 2 12B 输出及不确定性方法的审计发现部分比较在任务内胜出却在混合时反转,边际秩对齐可消除这些反转。
推荐理由:该文通过理论证明与实验审计,揭示了置信度评分在人群混合比例变化下发生反转的机制,为评估模型鲁棒性提供了新的分析视角。
该研究通过受控实验发现,在需要读取像素数值的任务中,视觉语言模型的报告仍会随激励目标发生偏移,且图像模态下的合规性低于文本模态。
论文提出了 Pixel-KWS 框架,利用渲染后的灰度图像表示字符而非依赖固定词表嵌入,使文本编码器能从视觉形式泛化以处理未见符号或视觉相似符号。
XLSAR-Bench 发布了一个包含 405 张平均尺寸为 7153×7153 像素图像的综合基准,涵盖视觉问答、定位及详细描述等十项任务。该基准通过人工标注与半自动辅助,揭示了通用及专用多模态大语言模型在处理大场景 SAR 影像时存在的理解与感知挑战。项目已开源以支持开发更强大的完整大 SAR 场景 MLLM。
HongguoTrending 是首个连接微短剧系列与其平台可见性的纵向多模态数据集,包含中国最大微短剧平台 Hongguo 七个热门榜单的小时级快照。该档案通过两阶段异步管道收集了 63,200 个排名条目、元数据及观众互动指标,揭示了网页与移动端榜单的差异化流转率及内容特征。数据可通过 RESTful API 访问,旨在支持算法把关机制、流行度动态及多模态数字文化的实证研究。
论文提出 LogT(Logically Think with Images),一种全自动 SFT 数据生成引擎,旨在解决视觉语言模型在使用外部工具进行细粒度视觉搜索时的逻辑推理挑战。
推荐理由:提出 LogT 全自动 SFT 数据引擎,通过逻辑链引导推理,在更少数据和算力下实现超越现有 RL 方法的性能。