解锁标签稀缺下的交叉注意力:一种用于视频语义分割的弱监督方法
该论文提出了 MemCAM 框架,旨在解决弱监督视频语义分割(WS-VSS)中利用外部先验(如光流)不稳定且昂贵的问题。MemCAM 通过特征空间自监督直接学习时空跨注意力机制,引入 CAM 传播算法合成监督信号,并利用预测图与传播图的一致性约束来稳定训练。
该论文提出了 MemCAM 框架,旨在解决弱监督视频语义分割(WS-VSS)中利用外部先验(如光流)不稳定且昂贵的问题。MemCAM 通过特征空间自监督直接学习时空跨注意力机制,引入 CAM 传播算法合成监督信号,并利用预测图与传播图的一致性约束来稳定训练。
论文提出 PROOF 框架,采用两阶段师生学习范式显式建模感知可靠性,使 Unitree Go2 四足机器人在严重视觉干扰下仍能维持稳定运动。方法在正常条件下支持高动态跑酷动作,并在遮挡或光照变化时抑制不可靠的外界特征输入。该工作为 CoRL 2026 投稿的预印本,评估基于搭载 RealSense D435 深度相机的真实世界设置。
推荐理由:提出基于分布外回退的感知鲁棒性框架,在视觉退化下保持四足机器人运动稳定性。
该论文介绍 Objectives as Policies (OaP) 框架,连接预训练视觉语言模型与基于采样的模型预测控制器,利用可编辑的目标程序桥接语义推理与物理规划。系统通过真实到仿真的数字孪生生成初始程序,经 MPC 仿真迭代更新后部署至现实世界。作者在四个桌面操作任务上进行了仿真与现实评估,结果显示该框架优于强基线。
推荐理由:提出将预训练视觉语言模型生成的目标程序作为 MPC 控制器输入,通过仿真到现实迭代实现接触丰富操作任务。
Jaeyoo Park 和 Bohyung Han 提出 Structural Self-Teaching (SST) 框架,利用扩散模型内部理解路径的注意力图提取短语级掩码,将其转化为训练时的结构监督信号以解决组合提示下的对象缺失与空间错误问题。该方法通过短语局部对比对齐和结构支架机制,在不需外部标注且无推理成本的情况下,在多个统一多模态模型上实现了优于 LoRA 微调的组合生成保真度。
论文 DeepBA 提出一种图神经网络架构,用于从任意数量视图的二维匹配中恢复相机位姿、内参和场景结构。该方法将传统光束法平差的非线性最小二乘求解过程转化为可学习的迭代优化,支持冷启动且无需逐场景归一化。模型包含 2.04M 参数,在重建质量和位姿指标上优于先前的学习型 SfM 方法,并在视图数量增加时计算效率超越经典方法。
本文提出了 Lens 系统,一种无需针对特定类别训练检测器的语义搜索方案。该方法利用冻结的自监督视觉 Transformer(DINOv3)提取特征,通过投影消除位置偏差并中心化,结合余弦相似度进行实时检索。系统支持跨数千图块的实时范围搜索与场景级检索,并在 DFC2020 测试集上实现了优于基线的性能,单次点击响应时间为 6 至 10 毫秒。
该论文针对自然语言点云定位任务中检索顺序决定最终输出坐标的问题,提出 SCAR 方法。该方法将每个单元 - 细粒度坐标对视为定位假设,利用骨干网络实际细粒度点的空间支持进行证据读出,并结合中心支持、语义存在度等构建 23 维表示训练共享评分器。
推荐理由:提出 SCAR 方法,通过空间一致性重排序解决自然语言点云定位中检索顺序决定最终输出的问题。
SemRAG 提出一种无需构建词汇字典的语义引导句子级检索增强框架,通过 SLT 引导模板定位模块抑制无关动作干扰。实验表明该方法在回译与运动准确性指标下均优于基线,显著提升了长难句的手语生成语义一致性与运动质量。
Pocket SDR-NPU 开源项目将 Raspberry Pi 5 与 AX8850 NPU 或 ROCK 5C 内置 NPU 结合,通过分解离散傅里叶变换实现并行代码搜索。相比优化后的 CPU 方案,短码获取速度提升 3.0-3.8 倍,90% 通道锁定时间从 66 秒降至 26 秒,实时处理通道数由约 175 增至约 230。
ESI 是一种自动化的飞轮系统,利用环境交互来对齐大语言模型(LLM)的推理与视觉 - 语言 - 动作(VLA)策略的动作执行。该系统将模块化智能体作为后训练单元,反复优化引导 LLM 的提示词、表达意图的技能接口以及实现意图的 VLA 参数,并重新部署这些组件。
针对现实部署中缺乏新场景文本标注的问题,本文提出了 STaG 框架,实现了无需目标域人类标注的无监督领域自适应文本检索。该方法通过风格无关文本对齐解耦身份语义与机器生成风格,并利用异构图记忆对齐学习跨域不变视觉特征,在三个基准测试上达到了最先进性能。
该论文提出 ALoMa 方法,利用 LoMa 关键点描述符在图像及图像对层面进行仿射对应关系(AC)估计,通过联合学习完整的 4-DoF 变换矩阵替代单独估计分量。实验表明该方法在多视图几何下游任务中表现一致优于现有方案。材料为预印本论文,代码已开源。
推荐理由:提出 ALoMa 方法,联合学习仿射变换矩阵以增强多视图几何求解的鲁棒性。
针对历史文档手写文本识别因标注数据稀缺和领域偏移而面临的挑战,本文提出 DRA-HTR 无监督生成域适应框架。该方案结合源域预训练与目标域视觉特征适应,通过生成目标风格源样本进行任务特定训练;并引入 DRAL-HTR 集成大语言模型进行后 HTR 校正以补充语言适应。
推荐理由:提出 DRA-HTR 无监督生成域适应框架,在七个数据集上建立手写文本识别领域适应新最先进并提升鲁棒性。
研究利用 CubiCasa5K 和 ScanNet 真实布局,评估 Qwen3.5-27B 和 Gemma-4-31B-it 能否提供物体位置的空间分布先验。结果显示模型虽能关联物体与房间类型,但在物体靠墙性及生成布局几何一致性上不及基于真实布局的先验。结论支持将 LLM 用于约束坐标书写及后续几何校验,而非直接替代真实布局作为放置先验来源。
PoliMop 提出一种利用物理仿真挖掘控制策略技能的运动规划器,通过结合预规划质点路径引导采样,将规划时间缩短最多 63%。该方法在四足、人形及轮式机器人上无需修改底层算法即可实现即插即用,并能自动识别如搭建桥梁等预设环境改造以扩展可达空间。相关代码与视频已公开,论文为 arXiv 预印本状态。
KnowVis 提出双视图评估框架,诊断文生图模型的世界知识 grounding 缺陷。该协议结合技能树与通用基准,利用结构化 MLLM 评测器验证原子知识与开放表达,在 NeurIPS 2026 E&D Track 接收并开源代码库以支持可扩展诊断。
论文提出免训练的 EcoVGGT 推理框架,利用固定关键帧集(Pinned Key Set)替代内容选择机制,实现长视频三维重建的恒定成本处理。实验显示该方法在 ScanNet 1000 帧视频上将速度提升 13.8 倍,并在 VGGT 模型上通过微调对齐模块将成功率从 70% 提升至 82%,同时支持单 GPU 处理 4000 帧及在线流式重建。
推荐理由:提出免训练推理框架 EcoVGGT,通过固定关键帧实现长视频三维重建的高效流式处理。
TelePhysica 是一个闭环框架,旨在从单张照片重建可执行的多体制物理世界,以驱动状态化的三维交互和轨迹感知的视频合成。该方法利用视觉语言编码智能体生成分离的视觉网格和声明性物理模型,并通过像素对齐轮廓批评与零力重力平衡预飞检查进行两阶段验证。
推荐理由:该工作提出闭环框架,从单张照片重建可执行的物理世界以驱动状态化交互与视频合成。
该论文提出 Saliency-Weighted Asymmetric Merging (SWAM) 框架,通过引入显著性感知机制扩展了双部软匹配方法,利用余弦相似度配对并施加最大显著性惩罚,结合非对称指数加权聚合以增强显著 token 的贡献。
现有文生图幻觉基准多基于扩散模型,难以诊断视觉自回归(VAR)模型的局限。本文提出 InfiHall-Bench 基准,包含由五种基础技能系统构建的 411 条提示词,平均每条覆盖 4.05 个标注技能,用于评估不同视觉要求组合下的幻觉。
MELD(Multi-level Embedding-space Latent Diffusion)利用无标签目标数据,通过四级 PointNet++特征层扩散去噪器将哥伦比亚圣玛尔塔内华达山脉 Teyuna 与 Miraflores 两地区的古梯田检测 F1 值分别从 0.397/0.557 提升至 0.459/0.594。
针对桌面环境安全约束依赖场景且指令未明确指定的挑战,该研究提出一种集成显式约束空间存储、任务与环境条件化适用性学习及多模态安全检查的行为规划框架。系统通过轻量级双塔模型识别适用约束,利用多模态安全检查器评估并修正初级计划,结合 LoRA 进行测试时自适应与参数高效微调以应对未知风险。该框架实现了显式安全知识表示、上下文感知选择、纠错检查及知识自适应的闭环整合,旨在提升机器人行为规划的安全性。
该研究针对扩散模型训练图像记忆区域的隐私与版权风险,指出基于对角线的对比检测方法存在歧义且依赖参考图或早期检查点。作者提出利用雅可比矩阵行和(JaRS)区分记忆化与局部平均,并引入图像级检测分数形成 JaRS+ 方法。
针对V2X协作感知中基于简单空间形变导致语义错位及对位置噪声敏感的问题,本文提出插件式模块RSSA。该模块通过语义变换块校正语义不一致,利用概率空间采样进行空间形变以增强鲁棒性,并引入相对变换增强策略辅助训练。实验表明,该方法在清洁与含噪位置配置下均大幅优于最先进方法。论文已获NeurIPS 2026接收。
针对现有基于代理的图像修复方法缺乏对策略有效性边界显式识别的问题,本文提出 RecurIR 框架。该框架引入假设发现机制以识别条件依赖规则,设计由规则证伪驱动的任务演化机制生成针对性退化变体并验证规则适用性边界,进而开发变化条件感知的策略修订机制来调整工具选择、执行顺序及操作强度。
针对现有传输模型未标准化策略接口导致难以跨机器人复用的问题,本文提出在上游映射层引入身体对齐的虚拟关节空间。该方案使策略动作与观测遵循统一解剖学约定,并通过确定性运动学层将虚拟目标映射到原生坐标,保持底层控制栈不变。实验在三种不同腿部轴布局的人形机器人及宇树 G1 硬件上验证,证明该方法能准确跟踪、保持足部对齐且训练稳定,并将航向漂移降低近六倍。
推荐理由:提出身体对齐虚拟关节空间,在三种不同构型人形机器人上复用同一强化学习策略,显著降低航向漂移。
Grounded Chinese Grammatical Error Correction (G-CGEC) 提出从图像到定位编辑的新任务,并构建包含 K-12 手写试卷的 G-CGEC-Eval 基准。评测显示顶级专有模型在单步设置下表现不佳,而基于错误类型的多智能体工作流取得最佳性能。研究指出语言错误发现与字符级配准仍是主要瓶颈,需加强视觉感知与语言推理融合。
MacroGS 提出一种前馈解码器,通过为每个宏像素预测单一共享高斯集而非每视图独立生成,解决了传统方法冗余编码场景结构且基元数量随视图数线性增长的问题。该方法利用视差依赖替换和角度条件外观实现跨视图复用,在无需几何监督下预测的视差与底层场景几何强相关。实验显示其集成于多种光场编码器时提升重建质量,速度较最先进隐式解码器快约 2-10 倍、较逐视图高斯基线快 10-18 倍。
nnAEU 是一种基于卷积神经网络的轻量化自编码器,通过剪枝完全移除 UNMamba(2025) 中的 Mamba 组件。该模型参数量少于 UNMamba 的 10 倍且远低于其他 Transformer 及 GAN 方法,同时在解混精度上超越它们。完整可复现代码已开源,相关论文为 arXiv:2611.17956v1 预印本版本。
针对专用任务标注数据稀缺问题,该研究提出一种无监督域适应流水线,通过预训练专家模型、利用未标记目标数据进行域适配及风格对齐来缩小分布差距。该方法在 DAGECC 竞赛 Track 2 的 Safran-MNIST-DLS 数据集上以 76.17% Macro F1 分数确立新最先进水平,并在 READ 2018 各子集无需标签下取得竞争性结果。代码已公开,推理阶段无额外计算开销。
arXiv 论文《Token2Tile》提出了一种无需训练的稀疏注意力算子,旨在解决视频扩散 Transformer 中注意力机制的二次计算成本瓶颈。该方法结合每查询评分与残差、在线低秩空间及 Tile 执行策略,将选中的 Key 打包至 GPU 核以加速推理。
推荐理由:该工作提出了一种无需训练的稀疏注意力算子,在视频扩散模型上实现了显著加速且精度损失极小。
Vessel2Brain 提出一种边缘感知的多尺度条件流匹配框架,仅凭稀疏血管标签图即可合成逼真的全量 3D 脑部 MRI 体积。该方法通过辅助速度预测与边界强调目标,在两个公开配对数据集上实现了优于最先进生成模型的构建精度、结构一致性与分布真实性。研究代码及权重尚未开放,论文状态为 arXiv 预印本(arXiv:2611.17919)。
针对自监督联合嵌入预测架构(JEPA)在医疗影像中鲁棒性不足的问题,研究测试了四种基于 JEPA 的胸片编码器。实验显示,在边界攻击等扰动下,I-JEPA 编码器的余弦相似度降至 0.33,AUROC 下降 0.12。通过对抗微调将嵌入一致性提升至 0.97 以上,而仅用干净数据训练的向量量化方法则导致性能进一步恶化。
Rabeya Noor 等人发现主流深度估计模型(如 Depth Anything V2)在数字变焦下会错误地认为场景变近,因为这类模型过度依赖物体大小而非焦距信息。研究通过无标签测试量化了误差,并证明利用真实相机参数或移除‘模糊即变焦’捷径的自洽性微调可显著修正该问题,使深度估计对缩放因子不敏感。
针对视觉语言模型(VLM)在指代歧义场景下过度自信的问题,作者提出 AmbiSteer 框架。该框架利用线性分类器预测输入歧义度并据此调整 steering 方向,结合提示词技术将多模型处理得当的输入比例从平均 59.0% 提升至 77.0%。研究基于 arXiv 预印本发布,旨在为降低不确定多模态设置下的模型过度自信提供轻量级方案。
针对现有方法依赖点云导致定位与分类受限的问题,本文提出 See and Detect 框架,利用多视图图像作为主要证据生成 3D 框和语义标签。通过单图候选发现、多视图共识框融合及质量评估提升定位鲁棒性,并引入上下文感知语义学习增强分类精度。实验表明该方法在 ScanNet 和 ARKitScenes 数据集上达到最先进性能,运行速度比此前 SOTA 方法快超过 500 倍。
该方法主张在行为分类前重构动物与物体的三维几何,使二维至三维逆问题的模糊性显式化并具备可修正潜力。研究先在模拟互动的老鼠数据上验证策略,随后扩展至真实视频场景进行演示。论文共 8 页含 9 张图和 1 个表格,收录于 GFaI Future Tech Days Tagungsband 2026 会议论文集。
论文提出了 DySENSE 框架,这是一种联合多模态生成式 AI 架构,旨在通过合成静态城市卫星影像与空间对齐的动态月度建筑能耗图来解决现有研究的数据与方法局限。
该研究引入一种降低变异的退化过程,将多样图像收缩至共享原型同时保持中间状态的可识别性。通过关联初始噪声潜变量并施加扰动以解决反向过程的一对多歧义,该方法在推理阶段允许提前终止并实现可控的速度 - 变化权衡。论文已提交至 CDEL-ECCVW 2026 会议论文集,代码与权重开放许可情况待项目页确认。
该方法通过单一空间仿射场同时调控机器人集群的运动与形变,利用控制屏障函数在单个二次规划中强制执行每机器人的避障、执行器及凝聚约束。实验表明该控制器能自适应调整集群尺寸以通过窄走廊,且两个独立驱动的集群可无需互协调地同时穿越共享路口。