RAP:通过声明式标记实现从论文到海报生成的数据集与基准
RAP 是一个包含 2.5 万对已验证论文 - 海报的数据集及基准,涵盖 2022 至 2026 年会议作品并附带 150 篇测试集。该资源提供三层内容分类法及可渲染的 HTML/CSS 声明式标记,支持无需训练的多智能体检索填充与监督微调两种范式。在线演示已开放,旨在解决视觉编码任务中缺乏客观评估标准的问题。
RAP 是一个包含 2.5 万对已验证论文 - 海报的数据集及基准,涵盖 2022 至 2026 年会议作品并附带 150 篇测试集。该资源提供三层内容分类法及可渲染的 HTML/CSS 声明式标记,支持无需训练的多智能体检索填充与监督微调两种范式。在线演示已开放,旨在解决视觉编码任务中缺乏客观评估标准的问题。
针对发展中国家缺乏专家标注数据的难题,本文提出 A100 农业视觉基础模型。该模型基于自监督学习在超过 300 万张未标注田间图像上进行预训练,采用融合 MBConv 与 Transformer 的混合骨干网络,并集成 DINO、iBOT 和 KoLeo 正则化技术。
论文提出 Sink-Sparse Hybrid Attention,这是一种无需训练的注意力替换方法,通过复用静态 sink masks 并补充轻量级 pooled-KV 分支来加速扩散 Transformer 的推理。
推荐理由:该方法提供无需微调的推理加速方案,在保持生成质量的同时实现约1.5倍端到端速度提升。
该研究针对视觉语言模型在开放世界场景下无法重训骨干网络的挑战,提出 COMET 框架以应对模态一致性漂移、表征空间干扰及单任务容量不足三大压力。方法上利用冻结教师提供特征参考,通过三亲和力蒸馏保持几何结构,并设计学生感知跨专家蒸馏使路由错误优雅降级;同时分离容量与推理机制,利用上下文多臂老虎机管理专家合并,结合重建路由器在测试时稀疏选择专家。
针对现有基准缺乏多模态输入与目标导向引导的不足,研究团队引入基于 Project Aria 眼镜采集的约 1000 条眼动记录数据集 VISTA。该数据涵盖六种传感器流及三类标注,覆盖物体定位到危险检测等十类任务。实验对 14 个视觉语言模型进行零样本评估,揭示其在生成日常辅助指导方面的局限,为提升无障碍体验提供新基准。
MedSTP 提出了一种免训练的预解码剪枝框架,通过估计 Token 的主成分谱支撑并构建紧凑表示子空间来保留局部边界与纹理证据。该方法在 SLAKE、OmniMedVQA 及 RadImageNet-VQA 基准上,基于 Lingshu-7B 和 Qwen3-VL-8B 骨干模型均实现了闭卷与开卷任务的一致强性能。研究证明该框架能有效解决医疗图像剪枝中易丢失关键视觉证据的风险。
针对自然语言描述生成高质量视频时意图匹配耗时的问题,本文提出 ProactGen 框架。该框架利用强化学习训练视觉语言模型作为提问策略,基于生成的视频草稿主动向用户询问关键信息以明确意图。实验表明,ProactGen 在目标对齐方面比直接生成提升至少 1.8 倍,且单轮澄清的时间效率优于最强基线经过四轮迭代的效果。
推荐理由:提出 ProactGen 框架,利用强化学习训练视觉语言模型主动提问以澄清用户意图,显著降低生成迭代成本并提升与目标的一致性。
针对临床前癫痫研究中同步视频与 EEG 标注瓶颈,该研究基于 601 个会话、24,131 段配对片段(涵盖 20 只大鼠的 soman 诱导模型),独立评估了 10 种视频架构和 7 种单通道 EEG 模型。
论文提出 Caltech Fish Counting 2026 (CFC26) 数据集,将原有数据扩展至阿拉斯加至北加州的九条太平洋鲑鱼河流系统共十一处部署地点。研究引入 nMNE 和 nMANE 两项新指标以模拟专家工作流程,揭示了上行与下行计数中此前被掩盖的方向性偏差。代码与数据已在 CaltechDATA 和 GitHub 公开。
论文研究大语言模型智能体如何通过外部记忆存储执行经验以改进任务表现,指出保留抽象规则虽能复用策略但会导致错误通过检索与重生成循环持续传播(即错误复现)。作者提出 Anti-Persistence 设计,仅积累轨迹和结果并在需要时按需重构指导,执行后丢弃合成内容以防止直接复用。
磐虎智能宣布完成由普华资本、恒择资本投资的数千万天使轮,资金将用于研发 TigerMind 多维感官认知世界模型及端侧智能系统。该公司以创始人侯迪波(浙大教授)和联合创始人林锋(前钉钉副总裁)为核心团队,构建围绕物理交互智能 PII 的技术体系。目前企业已与城市公共事业、工业基础设施等领域伙伴开展场景共创。
理想汽车旗下芯片子公司上海马赫心科技有限公司签署首轮股权融资协议,融资金额16.25亿元人民币,由杭州经韬、蓝驰创投及华业天成领投。本轮融资将支持公司持续推进芯片研发与商业化,推动其在非汽车领域的业务拓展。目前自研的马赫M100芯片已搭载于新一代理想量产车型,理想汽车仍持有该公司74.01%股权并保持控股地位。
CIViC 提出一种四重门控协议,通过关联解释与干预、保留任务比较或端点控制来验证视觉预测器对音频信息的真实依赖。实验在演员分离人脸栅格测试及 SpeakerVid 代理任务中证实:静态测试下跨演员音频替换符合检测规则且效应微小;合成混合数据中条件增强拟合的千步 RMSE(0.1807)高于仅音频拟合(0.1707)。该工作表明输出激活、保留误差与端点控制在不同代理任务中支持差异化的解释结论。
针对独立训练的多任务模型直接合并时出现的性能下降问题,本文形式化定义了“跨任务干扰”概念,并提出 Resolving Interference (RI) 框架。该方法利用无标签辅助数据对专家模型进行轻量级适应,使其在功能上与其他任务空间正交,从而减少干扰。实验显示 RI 能将主流合并方法的性能提升最高 3.8%,泛化能力提升 2.3%。代码库已公开。
针对多模态对齐中固有的模态间隙及持续学习引发的模态间隙漂移问题,论文提出 FPCD 框架。该方法结合快速零空间投影与对比蒸馏技术,在 11 任务 MTIL 基准上实现 Last 87.6%、Average 76.4% 和 Transfer 65.2% 的性能,并在 COCO Captions 和 Flickr30k 上保持更稳定的模态间隙与更强的零样本检索能力。
该工作介绍了一种从分类器输出样本计算贝叶斯误差率(BER)通用上界的新方法,并将其作为底层分类任务的性能准则。研究证明该上界在二元情况下是紧的,并刻画了多类聚合公式中的最大和间隙。
该系统结合面部表情、语音情绪、转录文本及肢体动作分析,输出概率分布以辅助心理评估。在 52 名参与者表达七种情绪的远程研究中,单模态准确率降至 82.97%-87.64%,而多模态融合系统达 96.43%(p<10^-4),所有情绪识别率均超 92.31%。v2 版本修正了实现问题并更新了结果,架构图已正式化且参考文献更新。
该论文提出一种新范式,将地球观测(EO)模型的构建与优化工作交给通用编码智能体完成。通过定义‘夹具’(harness)和‘验证器’(verifier),任何可验证的 EO 任务都能被转化为智能体的训练目标。
推荐理由:提出将地球观测任务转化为智能体可执行的闭环框架,在六个基准上超越现有方法,且仅需 11% 的训练标签即可实现土地覆盖映射。
针对胸部 X 光病变分割标注成本高且现有主动学习策略忽视病灶空间分布的问题,本文提出 SPARCL 方法。该方法通过凹函数平衡预测不确定性与累积空间覆盖度,将标注预算导向未标记区域;引入熵门控机制在缺乏空间变化时回归标准不确定性采样。
TwinPrune 提出统一空间密度信号,分别优化预填充阶段的二分合并与解码阶段的 KV 驱逐,在七种模型变体上实现算力、内存与精度的帕累托最优。该方法以 0.125 保留率在 TextVQA 任务上超越 H2O 基线 9.6 分,且压缩效率随模型规模增大而提升。代码已开源,建议将 MM-Vet 或 DocVQA 作为解码阶段剪枝的强制验证基准。
论文提出 InterpTok 方法,针对潜在扩散模型中生成代码落在训练样本之间导致解码瑕疵的问题,通过在两个训练样本的混合码上进行监督微调来优化解码器。该方法利用判别器判断自然度并施加混合比例损失,在保持重构质量的同时将插值质量提升三倍以上,并将匹配扩散模型的生成 FID 从 11.61 降至 8.48(无引导),且能在更少采样步数下达到更好效果。
针对现有数据集缺乏大规模动作条件化重要性标签的问题,该研究构建了 Meaningful Moments (MM) 语料库,包含约 458 万个基于视觉语言模型生成的片段重要性评分,覆盖 Something-Something v2、Kinetics-400 和 Diving-48 三个数据集的 622 个动作类别。
arXiv 论文介绍 EV-JEPA,一种单次训练即可在智能眼镜、手机、机器人及服务器等异构边缘 - 云端连续体上部署的视觉基础模型。该模型具备可重构宽度和原生跨设备分区能力,核心采用过渡感知三元组训练(T3),使同一权重同时支持单设备和跨设备执行。
针对多模态大模型处理大量视觉 token 导致计算成本高的问题,本文提出 MiCo,一种无需训练的兩阶段剪枝方法。该方法利用语义擦除模型从任务对数损失推导通用的互信息覆盖目标,先在视觉信号中选择代表性候选池,再在池中执行任务感知的子集选择。
论文提出了 Visual Contrastive Self-Distillation (VCSD),该方法将图像内容移除转化为 on-policy self-distillation 信号,无需外部教师、特权答案或视觉证据信号。
针对现有运动 - 语言模型压缩片段或拼接特征导致动作时长和时间尺度模糊的问题,本文提出 FiGMo 模型。该模型将运动表示为时间戳锚定的骨架姿态,统一编码器支持 2D/3D 骨架及真实视频检测到的姿态,RGB 可选提供上下文信息。
CAIA 框架针对 EEG 视觉解码中信息粒度失配和低信噪比难题,提出结合跨模态注意力的动态模糊机制与信息瓶颈正则化。实验显示该方法在零样本脑成像检索任务中,显著提升了受试者依赖与独立场景下的 Top-1 和 Top-5 准确率,优于现有方法。
针对现成视觉语言模型(VLM)未适配具身域导致视觉语言动作模型(VLA)性能受限的问题,本文提出 EmbodiedMidtrain 方法。研究首先刻画了 VLM 与 VLA 数据分布差异,构建了基于轻量级可学习邻近估计器的中间微调数据引擎,从中筛选出高对齐候选样本构建 EmbodiedMidtrain-1M 数据集。
InverFill 提出一种针对图像修复的一步反演方法,将输入掩码图像的语义信息注入初始噪声,无需真实图像监督即可在低计算成本下实现高保真生成。该方法利用少步文生图模型配合语义对齐噪声的混合采样流程,显著优于传统混合采样并媲美专用修复模型。实验表明 InverFill 能持续提升基线少步模型质量与文本连贯性,且无需昂贵的重训练或迭代优化,已获 CVPR'26 主会接收。
本文研究变分自编码器在潜在扩散中的可学习性(diffusability),推导了像素空间去噪损失的无分布界,并提出频谱匹配假设:潜变量应遵循平坦的幂律功率谱密度以保留低频增益,并通过解码器保持频率到频率的语义对应。实验表明该方法在 CelebA 和 ImageNet 上优于先前方法,同时扩展了表示对齐(REPA)的谱域视角并提出了 DoG 基改进方法。代码与多 VAE 仓库已开源。
VDE Bench 是一个用于研究中英文文档图像指令引导编辑的评估资源。它包含 3,506 个样本,涵盖 1,578 个文本区域编辑和 1,928 个表格区域编辑任务。该基准将编辑指令与参考图像配对,并标注了编辑区域及结构化 OCR 输出。其评估协议结合区域级和整页测量,以评估文本正确性、结构保真度和视觉内容保留情况。
这篇论文是一篇关于主动视觉感知的综述,旨在通过区分主动观测采集与处理固定输入来明确该领域的功能范围。文章围绕任务所需证据、获取动作、候选观测估值及后续传感行动选择四个问题组织文献,提出将新观测更新感知状态并指导决策的闭环评估框架。
针对多模态大语言模型(MLLM)在少样本细粒度视觉分类任务中易过拟合的问题,论文提出 UniFGVC 框架,将任务重构为基于预定义类别模板的多模态检索问题。其核心是属性感知模块 Category-Discriminative Visual Captioner,利用思维链推理生成富含判别性视觉属性的结构化描述,结合任意预训练编码器进行特征提取与相似度计算。
推荐理由:提出无需微调的通用少样本细粒度分类框架,通过属性感知多模态检索解决 MLLM 在稀疏数据上的过拟合问题。
KoreaGEO 是首个基于韩国街景构建的细粒度多模态隐私感知地理定位基准,覆盖四个社会空间集群及九类场所。研究通过图像、功能提示词与高风险提示词三条路径评估主流视觉语言模型,发现输入模态对定位精度影响大于模型规模,且存在向核心城市倾斜的结构化预测偏差。该工作揭示了日常社交媒体图片中严峻的位置隐私风险。
InkSight 旨在弥合数字笔记与传统纸笔笔记之间的差距,提出将物理手写(离线)转换为数字墨水(在线)的去渲染方法。该工作结合阅读和写作先验,允许在缺乏大量配对样本的情况下训练模型,据称是首个能有效处理具有多样化视觉特征和背景的手写文本照片并泛化到简单素描的研究。
通用图像去噪模型在纹理数据集上微调虽能提升性能,却会导致对原始数据的灾难性遗忘。研究指出必须采用专门的纹理感知处理方案,以保障下游生成建模任务的忠实度与合成质量。该工作强调当前纹理细节保留仍是去噪领域的关键未解难题。
针对全页文档解析中需保留异构元素内容与结构但易出现局部误差的问题,本文提出 Page-to-Token Policy Optimization (P2TPO) 框架。该方法通过参考元素对齐、统一锚点定价和跨度信用重分布等机制,在固定权重加性页面效用下保留局部质量差异。实验显示,P2TPO 在六个文档解析基准测试的种子平均分数上优于所有评估的策略优化基线,并在不同模型规模和初始化条件下均表现增益。
推荐理由:提出 P2TPO 框架,通过结构对齐的信用分配解决全页文档解析中的局部误差问题,在六个基准测试上优于所有策略优化基线。
该系统将带有星形高光与月亮阴影稀疏标注的服装草图及文本提示,转化为具备明确方向光且支持后期重光照编辑的纹理化三维网格。不同于现有管线将阴影烘焙为深色纹理,系统分别预测场景定向光与使标记区域在光照下形成阴影的表面位移场。该成果由 Ahmet Neçirvan Doğan 和 Eren Acar Başaran 共同贡献,论文共 11 页含 5 幅图,已上传至 arXiv。
人工智能已在气候预测、可再生能源设计及森林砍伐监测等广泛的人道主义任务中展现潜力。机器学习算法通过分析卫星影像与社会经济数据,实现了对贫困的预测及可持续发展促进。该研究重点展示了在灾害响应和冲突监测领域,AI 为评估损害、紧急需求及追踪人口流离失所提供的创新解决方案。
论文介绍 DocPilot 框架,旨在解决多模态长文档问答中稀疏证据检索难、跨模态推理弱及现有代理工作流僵化的问题。该方法通过页面级导航与细粒度定位编排证据搜索,融合局部视觉检查、代码数值推理与跨模态理解能力;提出基于课程学习的代理训练策略,利用数据驱动的推理轨迹和可执行交互轨迹进行监督,使小语言模型(SLMs)能逐步掌握从单一技能到自适应编排的能力。