Unbundling Multimodal Vision Encoding:解耦多模态视觉编码的架构设计
该论文提出了一种受控框架,在统一数据和计算预算下对比了不同视觉编码策略。研究发现,联合训练的专用视觉容量比预训练先验更有效,且无需前置融合即可达到同等性能甚至降低首字延迟。结果支持将专用视觉容量与主干网络联合训练并置于早期的架构设计。
该论文提出了一种受控框架,在统一数据和计算预算下对比了不同视觉编码策略。研究发现,联合训练的专用视觉容量比预训练先验更有效,且无需前置融合即可达到同等性能甚至降低首字延迟。结果支持将专用视觉容量与主干网络联合训练并置于早期的架构设计。
本文提出 Test-Time Baking (TTB) 策略,旨在解决解码器仅大型视图合成模型(LVSMs)在保持高质量的同时提升渲染效率的问题。该方法利用轻量级多层感知机(MLP)显式学习跨视图注意力映射,而非完全替换注意力机制,从而在保证与最先进方法同等质量的前提下实现高达 23 倍的渲染加速速度。
针对无人机视觉语言导航(VLN)中因三维运动预测误差导致碰撞的挑战,作者提出 ProtoVis-Nav 框架。该方法迫使模型为预期的下一个动作想象与结果关联的局部视觉表征,通过预测特征原型及其线性组合来估计目标区域的视觉特征,从而促进视觉上下文与航点输出的对齐。实验表明该框架在现有基线上取得了显著改进。
针对视频扩散模型存在的显著物理错误问题,本文提出 K2V 框架,将物理推理任务分配给语言模型驱动的关键帧生成模块,使扩散模型专注于在物理正确的中间状态间进行插值。该方法在 Physics-IQ Verified 基准和 PhyGenBench 上取得了最先进的性能。
BrickFlow 针对给定零件与组装图像推断部件姿态的任务,提出结合分析连通性场引导的 SE(3) 流模型以解决离散物理约束难题。该研究仅用 1% 数据微调注入图像条件,在 NeurIPS 2026 预印本中展示了提升构建质量的实验结果。相关模型与数据已面向科研目的公开提供。
arXiv 预印本介绍 Spatial Foundry 数据集,包含 5,280 个带家具的住宅 3D 场景配置及对齐的视觉、几何与时间数据。模态涵盖平面图、RGB、深度、点云、网格及实例级 3D 边界框等,支持空间感知与世界模型研究。
FLEX-LBP 模型通过学习半径、采样角度等参数,在保持精确二进制编码与直方图统计的同时,将最近邻平均准确率提升 3.55 个点。该模型在六个颜色纹理基准测试中优于五种经典描述符及冻结的 ImageNet ResNet-50 特征,且在结肠癌组织学基准上达到 93.8% 的准确率。代码已作为 PyTorch 层开源,部署推理成本不变且具备可解释性。
vid2vid-long 提出基于帧间显式对应的视频生成方法,利用输入视频的匹配区域引导检索并指导模型条件,解决了固定因果窗口限制长程一致性的问题。实验表明该方法在保持生成质量与实时性能的同时,显著提升了近期视频模型的长程时间一致性。该工作为 ECCV 2026 预印本,代码与项目网站待公开。
该预印本论文研究了预训练 Vision Transformer 如何内在实现物体绑定能力。研究发现在八个预训练模型中,实例分离主要体现于注意力路由而非 token 内容;同一物体的不同部分共享特定的‘注意力地址’(查询组件指向的图像区域),而相同类别的不同个体则获得可移动的独立地址。编辑该查询组件即可重定向注意力地址以区分个体。
HEIR 是一个用于研究如何 Harness Egocentric Intent for Human-Robot Interaction 的资源,它配对人类的语音、测量的注视和第一人称视频与机器人观测及遥操作导航 - 操作轨迹。
针对异质多机器人系统的协作任务分配难题,研究提出一种迭代聚类算法,将全局优化分解为子问题并保证每轮效用单调提升。仿真显示该算法在计算时间和解质量上均优于模拟退火及群组拍卖方法,且解质量超越享乐博弈方案。论文已发表于 IEEE RA-L 并在 2026 ICRA 展示,代码与数据待注册。
该研究提出基于 MALNISI 指标构建加权邻接矩阵的图神经网络,通过增强多头注意力机制及残差连接提升高光谱图像表征能力。实验在六个基准数据集上验证了该方法优于十四种最先进方法的有效性。论文为 arXiv 预印本(arXiv:2611.17199),代码与数据许可状态未明确说明。
论文提出 eDMD(Endpoint Distribution Matching Distillation)方法,旨在优化将扩散模型蒸馏为少步生成器的过程。该方法通过仅在学生模型的最终输出上训练单一共享的辅助假分数模型,并引入精确教师监督机制,确保分布匹配项仅在学生最终输出与教师一致时消失,从而避免中间状态干扰。
针对悬停无人机视频稳定中的“共识捕获”现象,研究在繁忙路口等动态城市场景建立了包含静态与动态协议的基准。评测显示未掩蔽 ORB 算法在实时动态对中成功捕获 28/304 对,中位角点误差为 18.8 px,且掩码操作可消除该效应而不影响领先管线性能。代码、数据及结果已公开,包含 50 页论文、17 张图与 24 个表格。
该方法利用标注验证数据,通过提示词选择而非微调提升冻结参数视觉语言模型在差分变形攻击检测中的性能。实验显示,版本 1 选出的提示词将 LMA、MIPGAN-2 和 PIPE 数据集上的变形攻击分类错误率(MACER)降至 19.17%,且真实样本错误率为 0.00%。研究证实提示词构建显著影响冻结参数 VLM 性能,但递归优化在仅含 10 个受试者的验证设置下未超越最佳初始损失效果。
SpotDiff 是一个无需训练的即插即用框架,旨在解决传统遥感变化检测依赖大量标注数据的可扩展性问题。该方法组合了 DINOv3、AnyUp 和 SAM 3 等视觉基础模型,利用多尺度推理策略在感兴趣区域比较重建特征以测量变化,不包含可学习组件或微调。
针对语言引导无人机导航长期侧重长程规划而忽视短距物体相对飞行的空白,该工作提出 Flying-on-a-Word 任务及 UAV-Flow 数据集,包含 30,692 条真实专家轨迹和 10,109 条仿真轨迹。团队开发 FlowVLA 模型,利用 Tail-Aware GRPO 方法进行在线后训练,在仿真基准上平均成功率达 93.16%,并在室内外实物场景中验证了物体相对指令的稳健执行能力。
推荐理由:该工作提出语言引导无人机飞行新基准与框架,通过混合真实与仿真数据训练 VLA 模型,在仿真中成功率提升至 93.16% 并验证了实物执行能力。
XBot-Omni 提出 Thinker-Talker-Actor 架构,将全模态范式扩展至机器人肢体运动与面部表情。该模型在七个基准测试中展现了强大的多模态理解能力与自然协调的运动生成效果。研究验证了其直接从全模态输入生成具身多模态响应的能力,实现了从对话交互到物理环境具身通信的延伸。
针对模仿学习中策略对状态扰动(如传感器噪声、场景变化)的鲁棒性问题,本文提出内积正则化(InneR)。该方法利用策略雅可比矩阵将动作空间的内积映射至状态空间,通过聚类并最小化平均内积的最小特征值,使邻近状态共享公共零空间,从而确保对扰动的响应一致性。
针对用户生成内容带来的无参考视频质量评估挑战,该研究提出 HiVE-VQA 框架,首次将 JEPA 架构的视频编码器应用于此任务。该方法从预训练的 V-JEPA 2.1 编码器中提取多深度 token 网格并堆叠为层级时空体积,利用紧凑的 3D 卷积头融合各层特征与语义上下文,且保持编码器冻结仅训练头部。
FORGE 提出一种无需全身运动轨迹或关节角度参考的力感知多粒度控制系统,仅需稀疏的双腕位姿与粗略运动指令即可部署。该系统结合动量观测器与仿真接触力监督训练的修正策略,在无手腕力/力矩传感器下通过本体感觉估计低频等效交互力并稳定全身校正。实验验证了其在刚性物体持续接触挤压、不同负载下的蹲起搬运任务中的统一控制稳定性及下游扩散策略执行效果。
该论文提出了 STeP-C(Spatio-Temporal Predictive Compression)框架,针对分布式光纤传感产生的海量连续数据,实现了空间编码、时间预测与熵优化残差编码的端到端训练。
针对现有潜在动作模型仅通过视频重建导致表征按外观聚类而非动作的问题,该研究引入 SALA 方法,利用人类与机器人视频的语言描述估计语义相似度并建立跨载体对应关系。
推荐理由:提出利用语言描述对齐人类与机器人潜在动作,无需配对数据即可统一监督信号。
作者 Tian Xia 提出 Joint Null-Space Projection (JNSP),这是一种将独立微调的检查点合并为多任务模型的闭式方法,无需数据、标签或梯度步。
SALT 框架通过冻结 DINOv3 骨干网络并引入状态对齐低秩迁移,解决了单时相遥感影像变化检测中源域过拟合问题。在 LEVIR-CD 与 WHU 航空建筑数据集双向迁移实验中,该方法仅用 0.068M 可训练参数和 40.2ms/张的推理延迟,像素级 AP 提升最高达 9.45 点且优于四大基线。相关源代码已公开以支持复现与进一步研究。
论文介绍 AURA 2.0,这是一个流式视频大语言模型,具备模型发起对话、流式工具调用和交互式视觉定位等核心升级能力。作者构建了专用数据集并采用三阶段训练方案整合新行为,引入长视界交互记忆以维持上下文连续性。公开基准测试显示其在开源流式模型中表现领先,相关权重与推理代码已开源。
推荐理由:该预印本提出 AURA 2.0,通过模型发起对话、流式工具调用及交互式视觉定位等升级,在开源流式视频大模型中表现领先。
该综述提出通过适应系统对大语言模型(LLM)的依赖程度来平衡其高效用与固有错误风险。方法借鉴经典决策理论与在线学习,依据 LLM 角色及贡献类型动态估计可靠性并调整信任度。独立验证机制可防止罕见但关键错误的执行,确保在有限研究背景下将误用风险控制在理论边界内。
针对 Vision Transformers 在分割和深度估计等密集预测任务中存在的二次复杂度限制及空间伪影问题,作者提出 ElasticDino,这是一个基于空间形变的轻量级适配器。
针对传统按生理年龄评估不足的问题,研究提出并验证了基于眼底的 AMD 年龄(FAA)指标以量化疾病特异性视网膜衰老。该模型在 AREDS 数据集上使 C-index 从 0.836 提升至 0.888,并将 5 年 Brier 评分从 0.050 降至 0.046;AREDS2 数据集中 C-index 也从 0.715 升至 0.756。
本报告总结了与 ECCV 2026 联合举办的第 8 届大规模视频目标分割(LSVOS)挑战赛中,关于移动统一多模态理解(MUMU)轨道的评测结果。该任务要求单一模型在 0.5B 参数和 8 GB 推理显存预算下,同时完成质量/场景/事件词汇的多概念图像标签、开放词汇目标检测和简洁图像描述。
推荐理由:报告总结了 ECCV 2026 LSVOS 挑战赛中 MUMU 轨道的评测结果,展示了在 0.5B 参数预算下基于 Florence-2-base 的统一多模态理解方案。
CT-SGAL-LIO 提出一种无需修改估计器即可平滑离散 SGal(3) 后验位姿流的连续时间细化模块。该方法在 GRAND-TOUR、MCD 和 GEODE 三个基准的 17 个序列上,将相对轨迹误差(RTE)提升最高 70%,并在 R-Campus 场景中使后验跳变减少 85.4%。作者计划开源代码与结果以支持社区验证及复现。
D2Count-Net 双分支计数网络结合 TPS-Guard 不确定性分诊机制,在非小细胞肺癌全切片图像中自动计算 PD-L1 肿瘤比例评分并识别需人工复核的高不确定病例。
论文介绍 TokenStream 优化框架,能在无参考视频数据集或联合优化的情况下组合独立学习的主体身份。该方法利用 Token-wise LoRA 限制低秩更新以分离主体外观偏差,并通过 T2V 引导流复用冻结基模型的布局与运动先验。
本文针对环境监控中的信息路径规划(IPP)问题,指出当前方法受限于启发式约束且缺乏同时满足最坏情况估计误差和逼近质量的理论保证。研究通过评估重构误差的概率与确定性界限,证明预测方差是 GP 基 IPP 的理论理想优化目标;分析表明 GreedyCover 算法的近似保证匹配了该问题的根本性近似硬度极限。
ACE-CaP-0 提出一种结合按需演示(Demonstrations on Request)与按需仿真(Simulation on Demand)的智能体配方,旨在通过经验获取并保留可执行的物理技能。
推荐理由:提出 ACE-CaP-0 框架,结合按需演示与按需仿真将八项真实操作任务成功率提升至 92.1%,实现无需人在环的自主执行。
Raysemble 通过分离形状与位置,利用共享解码器预测归一化骨骼形状,并结合深度与相机几何将形状重采样至毫米级公共网格。该方法在无需刚性对齐 CT 的情况下,在 23 名受试者的 43 个 CT 扫描生成的模拟正位 X 光片上评估,平均 Dice 为 65.24%,HD95 为 9.09 mm,ASSD 为 3.32 mm,优于 VolumeNeRF 等 15 种方法。
作者发布 Visual Cipher Bench 基准,包含 40 个仅需黑白线稿和最少指令的视觉谜题,涵盖空间操作、逻辑约束等四类任务。实验显示,在八种前沿模型中,最强模型 GPT-6 Astra (max) 准确率仅 26.7%,多数低于 1%;而提供单一非剧透提示后,十项子任务的准确率从 7.8% 提升至 55.6%。
该预印本提出 Kosmo-GFM,这是一个集成了几何基础模型、位姿优化引擎及来自 KosmoWorld 的重建监督的场景重建系统。GFM 可从图像和视频预测相机参数、深度、跨视图对应关系及动态 3D 点;PoseEngine 结合这些预测与几何优化恢复场景级位姿和几何结构,用于下游 3D 和 4D Gaussian Splatting。
推荐理由:该预印本提出 Kosmo-GFM 系统,在 SpatialBench 上实现最低深度误差与最高位姿 AUC,PoseEngine 运行时间约为 GLUEMAP 的 20%,支持将学习到的几何先验集成到重建流程中。
EG360 是一种针对全景深度估计的高效通用模型,利用场景几何引导的自适应全景 - 视角蒸馏策略及球体跨层级特征融合模块。该模型重参数化后仅含 6.593M 参数,在 Jetson Orin NX 16GB(MAXN 模式)上实现 35 FPS 推理速度,远超 ViT-small 模型的不足 2 FPS。代码将公开以支持未来研究。
DashBench 基准测试了 25 个视频大语言模型在涵盖碰撞及非碰撞类共 1709 条精心筛选的驾驶视频上的表现。结果显示所有被评估模型均远低于安全关键应用所需阈值,常误判危险事件或产生幻觉。该基准结合严格评测工具与详细诊断报告,旨在推动更安全、可解释的自动驾驶系统发展。代码和数据将在指定链接共享。