无需训练的高分辨率重缩放:Vision Transformer 注意力稀释与修复
Neil D. B. Bruce 指出以高于训练分辨率读取 Vision Transformer 会导致注意力行权重分散,提出一种基于对数比率的重缩放公式作为无训练修复方案。该方法在公开模型和控制模型测试中恢复部分精度损失,且校准系数随对数比率上升。
Neil D. B. Bruce 指出以高于训练分辨率读取 Vision Transformer 会导致注意力行权重分散,提出一种基于对数比率的重缩放公式作为无训练修复方案。该方法在公开模型和控制模型测试中恢复部分精度损失,且校准系数随对数比率上升。
针对缺乏 LiDAR 的 iPhone 和 iPad 等移动设备,该研究提出了一种无需扫描的增强现实管线(MoGe-2),利用点图网络从单目相机帧预测度量几何并恢复深度偏移。
TASN 提出时间自适应谱零化方法,通过分解交叉注意力并仅在活跃概念方向追踪谱分量,解决了传统均匀干预在低能量步骤浪费资源的问题。该方法在五红队测试基准上使攻击成功率低于均匀谱零化(SN),同时恢复了大部分画质损失。消融实验证实增益源于时序针对性而非单纯降低抑制强度,且泛化于不同概念类别与架构。
SynPanZ 通过渲染带随机化光照与相机运动的 rigged 黑猩猩模型,生成含每实例 2D 关键点位的 RGB 视频以解决濒危大猿标注数据短缺问题。在 DeepWild 训练集上引入约三倍合成帧后,ChimpACT 测试集的实例覆盖率从 12.34% 升至 22.54%,[email protected] 精度维持在 49.71%-52.25%。
Robust-GCD 提出一种直接从未标记池中估计腐蚀并构建锚点的框架,通过信任课程与配对对齐损失解决模糊、噪声及压缩伪影问题。该模型在五个数据集上恢复出 SimGCD 受污染后全部准确度的 43% 至 96%,其中四个数据集的恢复率超过 60%。
针对重复机载激光雷达调查成本高且存储几何体易过时的难题,本文提出一种区分观测、存在性与几何有效性的概率滤波框架。该方法基于五种几何过渡(持久性、修改、生长、移除和替换)学习类特定的连续时间先验,结合形状残差与激光雷达自由空间证据,并引入功能锚点实现跨站点先验共享。
该位置论文提出时空图像(STIs)作为计算机视觉的新输入表示,通过非帧采样切割视频体以消除静态背景冗余并支持运动分析。两项试点实验验证了该方法在 CDnet 2014 数据集上无需显式时序建模即可实现接近监督方法的背景分割,并能将相机平移速度估计转化为图像切面选择问题。研究主张切片视频体积是独立的设计变量,而非替代传统帧表示。
该研究提出证据校准选择性解码框架,通过分离视觉证据支持度、分布修正强度及发布阈值三个决策,解决对比解码过度依赖语言先验或掩盖错误的问题。方法在 MSCOCO、A-OKVQA、GQA 等数据集上重新评估了现有基线,揭示了不同骨干网络与任务间的性能差异。目前该框架尚未进行模型级验证,其有效性仍为待证伪的假设而非既定实证结果。
LogicEye$^{Agent}$通过双池推理与验证智能体模拟临床思维,联合多模态大模型与专家对眼底和 OCT 图像进行质量把关。基于此构建的 LogicEye$^{Data}$包含 804,461 张配对结构化病理报告的影像,覆盖 38 种疾病及 29 个亚型。LogicEye$^{Bench}$引入类别约束损失以抑制诊断幻觉,为眼科可解释视觉语言建模奠定基础,代码已开源。
论文指出传统生成目标优化合成空间导致与视觉理解表征不匹配,提出 UMM-JEPA 将生成重构为从粗到细的连续视觉理解表征渐进预测。模型在预训练中解耦像素渲染,实验显示该表征预测目标使统一多模态模型的视觉基准平均分达到 51.71,优于仅用于理解的 Qwen-VL 基线(46.36),且文本均值同步提升。
该论文提出 Speaking-Clock Mamba 模型,旨在解决无声说话人脸视频中音素与单词边界的定位问题。现有方法在解码阶段强加转录顺序,导致编码器缺乏显式机制锚定时间表示,造成长序列下的对齐漂移。
推荐理由:提出 Speaking-Clock Mamba,通过语音钟监督机制解决长序列对齐漂移问题。
论文提出 ReMoVe 方法,针对现有视频生成模型在复杂运动中易出现形变和外观漂移的问题,将粗粒度输出视为运动假设而非最终结果进行自修正。该方法恢复并精炼底层运动,渲染为 3D 网格并将面部外观转移至其上,同时从同一场景推导深度与相机轨迹以增强空间一致性。实验表明 ReMoVe 在保持基生成器先验的同时,显著提升了人体结构稳定性、外观一致性和时序连贯性。
论文提出了 VidEngram 系统,解决多模态模型对长视频重复编码导致的上下文浪费问题。该系统利用 Qwen2.5-Omni 联合生成音视频字幕,将片段记忆整合为事件和实体层,并配合文本代理规划器与检索工具生成基于证据的回答。
论文提出了 MovieRoll 框架,旨在解决流式视频生成中超出训练视界维持质量及处理自生历史与缓存成本的问题。
MIT韩松团队提出Robot-Use RL方法并公布PEAR后训练引擎,基于Qwen3.8-27B在仿真环境中通过强化学习自主训练机器人操作能力。LIBERO基准测试中任务成功率从1.6%提升至74.4%,接近GPT-6 Astra和GPT-6.1 Sol水平;部署到真实双臂YAM机器人时,任务成功率达60%而基础模型为0%。
推荐理由:MIT韩松团队提出Robot-Use RL方法,基于Qwen3.8在仿真中通过强化学习训练机器人操作能力,无需人工示范数据且具备零样本迁移至真实机器人的能力。
密歇根大学工程学院开发出一种名为 PRISM(Polynomial Representations for Interaction-Structured Motor Control)的新型神经网络组件,旨在解决传统多层感知机在机器人运动控制中无法显式处理物理变量乘法关系的局限。
论文提出 MeanFlowAdvantage,解决平均速度表示与现有基于瞬时速度的奖励微调不匹配问题。该方法通过共享的分离均值流导数修正,将奖励目标表达在预测空间,同时使 rollout 和参考正则化成为对推理部署的平均速度网络的精确惩罚。
推荐理由:提出针对平均速度生成器的奖励微调目标,在少步采样下提升 SD3.5-Medium 指标并支持 DNA 设计任务。
该方法利用单模态神经网络深度集成替代晚期融合,在同等参数量下显著优于解决模态不平衡的最先进融合网络。研究通过合成框架与真实数据集验证了启发式选择模型数量的有效性,并基于双模态数据拟合缩放定律估算了集成的渐近性能表现。
针对具身智能中大规模 VLA 模型在分布式环境下进行强化学习时面临的资源冲突与执行效率瓶颈,本文提出 D-VLA 高并发低延迟分布式 RL 框架。该框架引入“平面解耦”机制物理隔离高频训练数据与低频权重控制,消除仿真与优化的相互干扰;设计四线程异步“泳道”流水线实现采样、推理、梯度计算与参数分布的全并行重叠;采用双池显存管理与拓扑感知复制解决内存碎片并优化通信效率。
针对多模态大语言模型可能产生看似合理但错误的输出问题,本文介绍 UMPIRE 框架,这是一种无需外部工具的训练自由不确定性量化方法。该方法利用模型内部特征计算经不协调调整的语义体积,结合语义嵌入离散度与响应二次熵来捕捉全局多样性与局部不协调性。
该论文指出当前手术规划评估过度依赖与单一观测执行轨迹的相似度,混淆了任务完成与协议遵循两个概念。作者引入基于专家定义规则的新框架,证明单纯追求轨迹相似会惩罚合规但偏离参考路径的计划,并揭示视频大模型在此类任务中存在不可靠的状态 grounding 和规划约束不足等失效模式。
作者提出 Graph Consistency Regularization (GCR) 框架,通过引入参数无关的图一致性层,将模型自身的预测语义转化为全局类感知掩码预测图,并与批次级特征相似性图进行对齐。该机制利用自适应权重从图差异中学习各层重要性,优先保留语义可靠层并抑制噪声层,从而在不修改网络架构或训练流程的情况下提升特征质量与泛化能力。
推荐理由:提出无需修改架构的图一致性正则化框架,利用模型自身预测构建类感知特征图以抑制噪声。
论文 Mind the RefGAP 指出当前参考引导的扩散编辑器(如 LoomVideo)在编辑区域对参考图的注意力分配严重不足,导致身份还原困难。作者提出一种无需训练的在线修正方法 RefGAP,通过测量前向传播过程中的参考注意力质量,动态计算各层的 logits 偏移量:对编辑区域施加正向偏移以增强参考利用,对保留区域施加负向偏移以限制非预期变化。
该研究挑战了层间视觉 - 文本相似性反映跨模态交互的假设,发现标量对齐分数无法稳定检测视觉流被噪声替换后的退化现象,将其称为“对齐幻觉”。作者提出主角度差(PA gap)指标来区分主导方向优势与结构化内容重叠,证明内部对齐更应视为语言模型内部的几何诊断而非直接的内容交互代理。材料为 NeurIPS 2026 接收的预印本论文,未报告真实机器人部署结果或具体产品发布。
AnaDiffusion 提出一种将生成过程分解为独立解剖区域并进行部件组装与全局优化的框架,解决了现有模型忽视局部结构的问题。在 ADNI 测试集上,该模型在所有评估区域均取得最低的 FID 分数,且在局部编辑任务中实现了比分割条件基线更高的目标转移率(MS-SSIM)。此预印本工作无需推理时密集分割图即可实现可控部件编辑,代码与权重尚未开放。
论文提出在双自由度力反馈遥操作系统中集成基于视觉的触觉传感器和 32 像素触觉显示屏,以捕捉并渲染机器人手指上的空间接触模式。实验表明,这种空间分布的触觉信息能显著减少不必要的动作和任务步骤,降低任务完成时间,并使不同操作员的演示表现更一致;这些改进还能迁移到自主策略训练上,使基于触觉增强演示训练的模型在任务耗时和对自然人类行为的偏离度上也得到改善。
PP-CPCANet 通过流形全局正交基联合优化网络参数,解决了传统 CPCANet 在小批量训练中因协方差估计秩亏导致的局限。该模型在四个域泛化基准测试中实现了最先进性能并保持训练稳定。论文已撤回并整合至更新版本 arXiv:2605.05136。
该论文回顾了第二届 LoViF 2026 挑战赛,旨在推进涵盖模糊、低光照、雾霾、雨雪等多种退化条件的统一图像复原技术。比赛吸引了 158 名注册参与者,最终有 20 个团队的结果被成功复现并纳入排名。报告对提交的解决方案进行了综合分析,揭示了有效的策略设计,并为未来真实世界低级视觉研究建立了更新的基准。
论文提出 courteous anticipatory planning 方法,解决标准任务规划器缺乏对未来的预见且忽视其他机器人约束的问题。该方法通过基于模型的规划器生成候选计划,并利用独立学习的每机器人估计器联合最小化即时成本与聚合预期未来成本,避免组合式联合展开并支持模块化部署。
RFMSR 提出将源分布设为以低质量潜变量为中心的 Gaussian,使流从输入图像而非纯噪声开始以保留结构先验。该方法结合单步输出监督损失与条件流匹配损失,无需蒸馏即可实现任意步数的高质生成。实验显示其效果可与最先进方法竞争,代码已开源。
该论文报道了在真实环境中对商用 Go2-W 腿轮机器人进行长距离自主导航的研究工作。作者将原本用于四足机器人的仅本体感知策略迁移至该 16 自由度机器人,并发现轮式运动会导致髋关节负载集中和过热问题。
Sequential Asymmetric Imitation(SAI)提出一种无需同步双人演示或显式通信的单遥操作课程,通过分阶段训练让两个双足移动操作机在刚性与柔性物体耦合下完成协作任务。
针对零样本工业缺陷检测模型在边缘端量化后性能下降的问题,本文提出 EdgeZSAD 框架及其核心方法 Value-Range Quantization(VRQ)。
人类与现代视觉模型在分类准确率相近时,其错误方向存在系统性差异,揭示了仅靠准确率无法察觉的归纳偏置。研究通过自然图像分类任务下 12 种扰动类型匹配的人机响应,量化混淆矩阵不对称性并关联信息 - 误差权衡几何特征(斜率 beta、曲率 kappa 及效率 AUC)。结果显示人类呈现广泛但微弱的不对称,而深度模型则表现为稀疏且强烈的方向性坍缩。
针对多模态大模型处理长视频序列成本高昂的问题,本文提出 Q-Gate,一种免训练的插件式框架,将关键帧选择视为动态模态路由问题。该方法解耦检索为视觉定位、全局匹配和上下文对齐三个轻量级专家流,并利用 LLM 的上下文推理机制评估查询意图,动态分配权重以激活必要模态并抑制无关模态。
论文指出 Vision Transformers(如 DINOv2)存在独立于语义内容的位置偏差与伪影,导致在无优选方向的领域(如材料科学截面图)难以进行零样本适配。研究通过线性探测验证了该偏差的普遍性,并证明通过微调模型采用 ALiBi 相对位置编码可消除这种偏差,同时保留良好的通用语义特征,使其成功应用于复杂显微图像的 trainable segmentation。
该论文提出了 Free-GVC 框架,将视频编码重构为由视频扩散先验引导的潜在轨迹压缩。方法在 GOP 层面运行,通过自适应质量控制模块动态构建在线率感知代理模型以预测最佳扩散步,并利用跨 GOP 对齐模块建立帧重叠与潜在融合来消除闪烁、增强时序连贯性。实验显示该方法在 DISTS 指标上平均降低 93.29% BD-Rate,用户研究证实其在极低码率下具有更优的感知质量与时序一致性。
针对颈椎骨折诊断难题,该研究提出利用 YOLOv8 定位与 DenseNet121-Unet 分割生成的二维掩膜反投影替代全量三维分割。在 RSNA 2022 数据集上,该方法获得的椎体级和患者级 AUPRC 分别为 75.64% 和 92.00%,性能提升无统计学显著性且优于部分基线。结果表明,基于二维投影的掩膜近似是颈椎骨折识别中可行的三维分割替代方案。
Teleo-Spatial Intelligence(TSI)通过整合物理动力学与动作目标,揭示了视觉语言模型在开放世界环境中存在显著的意图推理差距。基于包含 11,328 个真实视频及 8,000 例基准数据的 EscherVerse 资源评估显示,最强专有模型整体准确率仅为 57.26%,远低于人类首判平均 90.62% 的水平。
针对现有视觉语言动作(VLA)模型在多样化任务中泛化能力弱、动作输出粗糙或不稳定的问题,本文提出 E0 框架。该方法将动作生成建模为量化动作 token 的迭代去噪过程,利用 Tweedie 离散扩散机制自然对齐基于 token 的推理逻辑,支持细粒度且可执行的精细控制,并避免了掩码式离散扩散的分布失配问题。
推荐理由:提出基于 Tweedie 离散扩散的 E0 框架,解决 VLA 模型动作生成粗糙与泛化不足问题。