WALDO:基于世界模型特征的单样本杂乱场景实例检测
arXiv 论文 WALDO 提出一种无需针对每个物体单独训练的实例检测方法。该方法将冻结的自监督图像特征(DINOv3)与视频世界模型特征(V-JEPA 2.1)进行融合,利用轻量级条件头在杂乱真实场景中定位特定物体实例。研究指出,通过模型图像通路读取 V-JEPA 的特征可改善其定位性能,且两种特征互补;相比强视觉语言模型,该方法显著提升了单样本查询下的实例定位效率与精度。
arXiv 论文 WALDO 提出一种无需针对每个物体单独训练的实例检测方法。该方法将冻结的自监督图像特征(DINOv3)与视频世界模型特征(V-JEPA 2.1)进行融合,利用轻量级条件头在杂乱真实场景中定位特定物体实例。研究指出,通过模型图像通路读取 V-JEPA 的特征可改善其定位性能,且两种特征互补;相比强视觉语言模型,该方法显著提升了单样本查询下的实例定位效率与精度。
arXiv 预印本介绍了一种结合动态活动与特征临时关联的图像工作记忆模型。该模型在五个任务上接受训练,包括样本记忆、分类干扰项以及判断图像新旧。同一模型由明确提示引导完成不同任务,结果显示延迟对样本记忆影响小,但看到更多图像会增加误报率;在多问任务中正确回答概率随问题数量增加而下降。材料为预印本,未提及同行评审状态或真实机器人部署结果。
arXiv 论文《Pixel is All You Need》系统研究了纯像素空间生成模型(无文本 Token)的推理能力。研究发现,现有视觉生成模块在缺乏底层文本模块支持时无法进行符号推理;而从头训练的纯像素模型能直接在画布上阅读问题、书写中间步骤并输出答案,表现出类似大语言模型的标量行为与规模定律。该研究还验证了单画布共享机制使模型具备跨模态推理能力,且强化学习后训练进一步增强了其推理性能。
推荐理由:该研究在纯像素空间训练生成模型,发现其具备类似大语言模型的推理能力与跨模态共享画布特性。
该论文提出一种三模态驾驶世界模型,旨在联合预测 RGB、热成像和 LiDAR 三种传感器的下一帧数据,以应对恶劣天气挑战。研究基于 DSERT-RoLL 数据集中的真实恶劣天气序列进行后训练,将 LiDAR 表示为与 RGB 相机对齐的深度视频,并通过模型的视频分词器优化稠密化与编码策略。
该论文提出了 PhyVGGT 框架,旨在从非校准的单目视频中重建具有可动部件的机械物体的三维结构、关节参数及未见过的运动状态。
论文 EgoHandWAM 探究了第一人称相机视角下手部运动对预测未来视觉特征的贡献。研究基于 751,065 个 EgoDex 窗口训练,冻结 DINOv2 编码器,结果显示仅凭历史轨迹信息对视觉特征预测的增益有限(平滑 L1 误差降低 1.32%),而结合未来位移掩码能显著减少误差(降低 3.93%)。
针对全球神经影像数据因隐私规则无法集中化的问题,本文提出 SCAN 框架,允许新站点在不共享患者扫描数据或重新训练的情况下,对 3D 医学视觉语言模型进行本地化适配。
推荐理由:提出无需共享影像或重训的站点感知协作框架,在保护隐私前提下实现多中心神经影像模型适配。
本文指出当前六个开源权重的交互视频世界模型存在“相机高度回归”缺陷,即在生成过程中无法保持初始设定的相机高度(如地面机器人 0.15m),而是向人眼水平(1.1m-1.5m)漂移。
MindTopo 是一个基于认知科学与形式拓扑学的基准,涵盖连续性、分离性、序关系、封闭性与纽结五种属性,包含 3900 个核心实例和 11035 个扩展实例。
针对驾驶场景下视图切换导致的空间退化与生成不一致问题,论文提出 PRG-Fusion 框架,利用稀疏 LiDAR 投影建立几何控制并学习稠密 3DGS 渲染的外观控制。该方法根据重建证据将像素划分为保持、修复和生成三类区域,分别执行外观保留、结构修正和内容补全,在 Waymo 数据集上实现了具有优异视觉质量与几何保真度的新轨迹视频合成。
推荐理由:提出 PRG-Fusion 框架,利用重建证据在可靠区域保持内容、受损区域修复结构、无支撑区域生成新视图,实现高几何保真度的驾驶轨迹视频合成。
论文介绍 LatentUM 统一模型,其核心创新在于将所有模态表示于共享语义潜在空间中,消除生成视觉状态时的像素解码中介,使内部推理更灵活高效。实验显示该模型在 Visual Spatial Planning 基准上达到最先进水平,通过自我反思提升视觉生成功能,并在共享空间内预测未来视觉状态以展示世界建模能力。代码与模型已开源,论文为 NeurIPS 2026 Oral 录用版本。
推荐理由:该工作提出共享语义潜在空间的统一模型架构,消除像素解码依赖,在视觉空间规划基准上达到最先进水平并展示世界建模能力。
针对现有大语言模型在越视域导航任务中短视行为的挑战,该方法首次引入视频生成模型以利用长视界监督优势。通过提出 SparseVideoNav 技术,将原本需数十秒的视频生成长度压缩为亚秒级轨迹推断,同时保持 20 秒的未来视界跨度。实验表明,该方法在越视域导航任务上的成功率是现有大语言模型基线的 2.5 倍,并首次实现了夜间复杂场景下的有效导航能力。
PrefCVAE 是一种增强型 CVAE 框架,利用弱标签偏好对赋予隐变量语义属性,在保持基线精度的同时实现了可控且具语义意义的轨迹多样性。该方法以平均速度为例证,验证了偏好监督作为提升基于采样生成模型效率的低成本方案的有效性。研究结果发表于 arXiv,属于预印本状态,旨在解决现有方法缺乏可控多样化轨迹生成的问题。
CivilBench 是首个针对土木工程与灾害场景的视觉语言模型(VLM)综合评测基准,涵盖序列推理、图像结构理解及开放世界理解三大任务家族。评估显示当前主流 VLM 在从稀疏结构化观测中推断数值关系等序列推理任务上存在显著瓶颈,且该基准将通过公开链接提供以支持可靠 AI 辅助工程决策能力的验证与进展追踪。
针对冻结扩散生成器需改变部分输出属性同时保持其他属性的需求,本文研究了条件引导的忠实性并引入局部逆修正以改善方向。该方法结合请求特定的余弦增益预测器与阻尼逆修正及固定时间重线性化,适用于有限编辑场景。
推荐理由:该文提出光谱引导方法,结合局部逆修正与固定时间重线性化,在图像修复等任务中显著优于 Adam 优化器。
论文介绍 ReSpaceBench 基准,包含 590 个合成与真实家庭场景及 3244 个问题,用于评测智能体在跨会话访问中的持久化空间理解能力。评估显示最强零样本模型整体准确率为 50.5%,远低于人类标注者的 90.1%;代理框架未带来额外提升。作者提供了 RS-30K 合成训练集,微调 Qwen3-VL-8B 可将准确率从 35.5% 提升至 60.4%。
研究利用 CLIP 图像编码器与 Tip-Adapter-F 缓存,通过少样本学习实现相位敏感光时域反射仪(Phase-OTDR)的事件识别。在控制数据泄露的协议下,ViT-L-14 架构配合每类 128 个支持样本的配置,在独立测试集上达到 96.81%±0.42% 的准确率与 96.79%±0.42% 的宏平均 F1 分数。相关代码及图像数据集已公开于 GitHub,且性能对提示词表述不敏感。
论文发现多模态大模型在融合中常过度依赖文本而忽略视觉线索。作者构建 MR-Bench 基准,显示仅凭转录即可解决大部分本需视觉的任务。提出的 Counterfactual-View Reliability (CoVeR) 方法通过让单模态视图互相监督来抑制语言捷径,在不增加推理成本的情况下显著提升了模型对非语言证据的利用能力。
针对点云视频自监督学习中存在的几何位置与时间掩码导致的信息泄露问题,论文提出了 PointWM 方法。该方法通过仅使用目标最后一次出现的位置和时间戳进行查询,并学习无需标注的潜在动作来预测未来帧的特征与几何结构,从而将任务从补全转变为真正的因果预测。
推荐理由:提出 PointWM 方法解决点云视频预训练中的信息泄露问题,在 HOI4D 任务上显著优于从头训练。
该研究引入 ReactBench-AD 基准,基于 NAVSIM 和 PhysicalAI-Autonomous-Vehicles 构建像素级反事实场景(插入行人或车辆),评估四款 VLA 和两款 WAM 发现其对突发危险反应微弱。针对 ReCogDrive 进行少量编辑场景微调后,模型学会紧急制动且能泛化至未见物体及真实场景,同时保持常规驾驶性能。代码与数据将公开。
推荐理由:该基准通过像素级编辑场景发现现有模型对突发危险反应微弱,并证明少量微调即可让 ReCogDrive 学会紧急制动且能泛化至真实场景。
论文 PanDWM 提出将六个针孔相机视图拼接为单一 360°全景带,使视角一致性转化为图像连续性约束。该方法采用因果学生网络分步生成全景窗口,并通过前馈解码器结合邻帧静态高斯构建 4D 场景。在 nuScenes 数据集上,PanDWM 在单视口评分下 FID 低于多相机基线,速度提升 8-46 倍,同时将 FVD 降低 22-25%。代码与网站链接已提供。
Pros4D 框架通过潜在空间统一观测动力学理解与未来动力学预测,解决现有视觉语言模型难以处理连续动态变化的局限。该方案利用几何 grounded 监督构建配对示例,将观测状态压缩并自回归推演至未来状态,同时通过 4D Latent Alignment 进行视觉语义与几何配准。实验在涵盖动态相机、物体及场景的八类空间任务基准上,均展现出优于强基线的一致性能提升。
该论文提出一种无需训练的新框架,直接从扩散 Transformer 的图像侧激活中提取视觉概念方向。该方法利用简单的均值差估计器,能在少样本提示对下识别出可复用的概念方向并注入推理过程以实现连续控制。定量结果显示,其方法优于文本编码器引导和免训练激活编辑基线,且能与专用编辑模型竞争,支持在同一图像中对多个概念进行精确的定向和组合式操控。
Songtao Hu 等人提出一种特征空间语义预测框架,旨在解决现有手术辅助系统过度关注外观保真而忽视下游推理需求的问题。该方法直接在冻结的视觉基础模型(VFM)表示中建模时序动态,通过构建分层目标表示并用可学习掩码替换未来帧特征,训练掩码 Transformer 从观测上下文预测潜在特征。
推荐理由:提出在冻结视觉基础模型特征空间进行语义预测的框架,相比像素级合成在手术流程预判与工具识别上表现更优。
针对视觉语言模型在分布外(OOD)输入上过度自信的问题,本文提出多模态 Logit 融合(MM-Log)方法。该方法在不丢弃预训练几何结构的前提下,将零样本先验与任务适配分支的四个跨模态相似度通道融合为单一 OOD 分数,利用冻结 CLIP 对捷径攻击形成一致性校验。
推荐理由:提出无需微调的零样本先验融合方法,通过冻结 CLIP 与任务分支的一致性检查提升分布外检测鲁棒性。
该论文针对现有多模态推理大模型在视觉定位不确定时过度分配深层推理的问题,提出 ThinkWise 框架。该方法引入实例自适应的视觉感知建模机制以校准不确定性,并设计包含答案、感知与难度条件的结构化奖励公式来调节推理深度。实验表明,ThinkWise 在多个基准测试中显著提升了 3B 和 7B 模型的准确率与效率平衡。材料为预印本论文,未涉及真实机器人部署或产品发布。
论文指出传统生成目标优化合成空间导致与视觉理解表征不匹配,提出 UMM-JEPA 将生成重构为从粗到细的连续视觉理解表征渐进预测。模型在预训练中解耦像素渲染,实验显示该表征预测目标使统一多模态模型的视觉基准平均分达到 51.71,优于仅用于理解的 Qwen-VL 基线(46.36),且文本均值同步提升。
KnowVis 提出双视图评估框架,诊断文生图模型的世界知识 grounding 缺陷。该协议结合技能树与通用基准,利用结构化 MLLM 评测器验证原子知识与开放表达,在 NeurIPS 2026 E&D Track 接收并开源代码库以支持可扩展诊断。
针对现有视频语言模型仅检索静态属性而忽略动态信息的局限,本文提出 V-JEPA-LM 架构。研究证明动态信息存在于预测编码器的子空间中,并通过像素变换构建反事实监督数据,使语言模型在单阶段训练中即可读取速度等动态特征。
推荐理由:该文提出利用反事实监督让语言模型读取视频编码器中未被利用的动态信息,在单阶段训练中于多项基准测试中超越现有开源模型。
针对基于流的生成模型依赖人工设定预测目标(如速度或噪声)的问题,本文提出 AnisoFlow 框架,引入可学习的各向异性缩放机制替代固定目标。该方法在保持网络架构与损失函数不变的前提下,通过闭式映射恢复速度场,显著降低预测误差。实验显示,AnisoFlow 在 ImageNet 256x256 数据集上将 FID 分数从 1.90 提升至 1.55,并在低精度推理下有效消除图像块接缝伪影。
该论文形式化了 CLIP 嵌入中的层次角分离现象,分析了图像与文本嵌入在对比学习下的不对称性,推导了线性损失和 InfoNCE 损失的闭式解,并通过合成实验验证了理论。材料为 arXiv 预印本,未提及同行评审状态或具体部署结果。
推荐理由:本文从理论上解释了 CLIP 嵌入中层次结构产生的几何机制,并给出了闭式解。
VideoLLM-MoTE 提出将大语言模型前馈网络转化为特定任务的专家架构,在 COIN 基准测试中激活约 20 亿参数即实现高于近期基线的平均 Top-1 准确率。该设计通过样本级任务路由使计算独立于存储的专家数量,相比稠密全激活及学习到的稀疏路由均表现更优。论文已获 BMVC 2026 接收,包含补充材料并开源代码与数据。
本文介绍 Ego-MC-Bench 基准,用于评估视频大语言模型在真实烹饪场景中进行反应性、逐步任务指导及主动纠错的能力。实验表明当前最先进模型在该基准上表现困难,主要归因于缺乏包含错误与适时干预的训练数据。
论文介绍 Canvas Vision Transformer (CanViT),这是首个任务与策略无关的主动视觉基础模型 (AVFM)。该模型利用场景相对 RoPE 结合视网膜视觉骨干网络与时空图景全局潜在工作区,并通过 Canvas Attention 机制实现高效交互。
推荐理由:提出首个任务与策略无关的主动视觉基础模型 CanViT,在低分辨率瞥视下实现优于现有模型的分割精度与推理效率。
MarsRetrieval 是一个针对火星地理空间发现设计的检索基准,涵盖成对图文检索、地貌检索及全球地理定位三项任务。评估显示即便强基础模型也难以捕捉特定地貌差异,证实了领域微调在行星环境下实现泛化地理空间发现的关键作用。代码已公开,适用于计算机视觉与天体物理仪器方法研究。
该研究通过跨 6 个模型家族的 10 种多模态配置进行因果消融,对比了邀请心理场景构建的空间意象任务与仅靠符号规则可解的符号操作任务。在 Chameleon-7B 中,消融视觉语言轴投影导致 BIG-Bench Hard 导航任务准确率下降 27.6 个百分点,而布尔表达式保持完整并提升 5.6 个百分点,形成 33.2 个百分点的双离解效应。
针对视频扩散模型存在的显著物理错误问题,本文提出 K2V 框架,将物理推理任务分配给语言模型驱动的关键帧生成模块,使扩散模型专注于在物理正确的中间状态间进行插值。该方法在 Physics-IQ Verified 基准和 PhyGenBench 上取得了最先进的性能。
针对将通用视觉语言模型(VLM)适配自动驾驶需大量空间先验或架构重构的难题,本文提出非侵入式的三元组增量训练框架。该方法利用自动构建的图像、深度和问答三元组,通过统一三流训练管线注入 3D 几何感知:主 VLM 流适应驾驶任务,辅助深度流引导视觉骨干网想象场景几何,冻结的双生 VLM 流防止语义漂移。
推荐理由:提出非侵入式三元组增量训练框架,在保留通用 VLM 能力的同时通过辅助深度流注入几何感知,部署时无推理开销。
该论文针对环境中的隐蔽物体查找问题,提出了 concealment-adaptive mixed-observability MDP(CA-MOMDP)框架及 COMBS-score 评分机制。
Yuqiao Feng 和 Xiaoyu Ao 在 arXiv 上发布研究论文,指出当前广泛使用的控制指标仅检查相机是否跟随指令,而忽略了场景响应不足的问题。作者发现现有模型生成的场景变化最多仅为真实视频的三分之一,且无法区分执行与忽略的速度指令。
推荐理由:作者指出主流驱动世界模型仅移动相机而未同步场景,提出无需训练的 ReTime-Compose 方法以几何方式注入计划。