Orbis 2:一种用于驾驶的层级世界模型
论文介绍 Orbis 2,这是一种针对驾驶场景的层级世界模型,将未来预测分解为两个不同时空尺度的操作:高层预测器负责长时粗粒度场景结构预报,低层生成器基于高层输出产生详细预测。
论文介绍 Orbis 2,这是一种针对驾驶场景的层级世界模型,将未来预测分解为两个不同时空尺度的操作:高层预测器负责长时粗粒度场景结构预报,低层生成器基于高层输出产生详细预测。
该论文提出 Peak-End-Net 框架,旨在解决视频美学评估中缺乏大规模基准和主观性强的问题。方法利用预训练的图像美学头生成帧级先验以识别显著时刻,设计美学节奏编码器捕捉时间演变,并通过动态门控融合机制提升鲁棒性。实验在 VADB 和 DIVIDE-3K 数据集上验证了该方法的最先进水平,代码与模型已开源。
针对视觉地点识别(VPR)在真实部署中依赖固定阈值且难以应对环境变化的问题,本文提出 Visual Place Recognition Auditing 框架,利用视觉语言模型(VLM)联合推理查询与候选图像以评估匹配结果。
该论文介绍了 WarpMPC 工具箱,旨在通过数值优化最大化 GPU 上解决大规模(10,000 至超过 100,000)序列二次规划(SQP)迭代的吞吐量。所有问题具有相同结构时,利用时间、成本和约束的稀疏性共享特性,提出展开稀疏线性分解和求解方法,主导交替方向乘子法(ADMM)求解器运行时间。
论文对 Segment Anything Model 3 (SAM 3) 进行了多任务实证评估,涵盖场景分类、目标检测和实例分割,且无需微调。研究发现仅使用文本提示效果较差,加入视觉提示能显著提升准确率;结合两者时效果依任务而异。在通用域开放词汇检测与分割基准上,SAM 3 的纯文本性能优于多个对比模型,但无视觉提示时的准确率仍受限,未来工作需探索参数高效微调方向。
论文介绍 UNIVERSE,这是一个基于单掩码调制扩散 Transformer 构建的统一视频 - 动作模型,旨在解决部署世界动作模型时昂贵的未来视频生成问题。
针对现有新类别发现方法缺乏语义解释的问题,该论文提出 xNCD 框架,通过在预训练多模态模型对齐视觉特征与语言先验,在结构化语义概念空间进行无标签概念表示学习与伪标签分配。
针对 3D Gaussian Splatting(3DGS)在近景渲染时质量下降及基于扩散模型的增强方法存在伪影的问题,本文分析了其根因是参考图与近景之间的尺度差距导致特征非尺度不变。
论文介绍 MorphQuad 一种可变形态四旋翼飞行器,通过独立关节化的转子系统与新型控制推力分配算法,实现任意方向最大推力矢量输出与几乎全域稳定性。硬件保留平面结构并消除控制奇点,支持连续多圈旋转、阀门转动、抓握按压等超人手力级操作及抗风恢复能力。材料为预印本论文,未报告真实场景部署结果或商业化状态。
推荐理由:提出可变形四旋翼架构与闭环控制算法,实现任意姿态飞行、超人手力级操作及抗风恢复能力。
作者发布了 UnderOneFacade,这是迄今为止最大的跨国界和跨大陆的 3D 建筑立面基准数据集,包含总计 27 亿个标注点的厘米级精度点云及层级化、标准化的语义标签。
推荐理由:该数据集提供全球跨域、厘米级精度的建筑立面分割基准,揭示了现有模型在细粒度识别与泛化上的瓶颈。
针对高分辨率图像中关键视觉线索难以捕捉的问题,本文提出 Perceive-to-Reason (P2R) 框架,将细粒度视觉推理拆解为“定位证据”的感知阶段和“回答问题”的推理阶段。
该方法在真实世界 OCT 数据上实现视网膜色素上皮(RPE)损失 Dice 系数 0.88、椭圆体带(EZ)损失 Dice 系数 0.87,厚度误差仅 2.08μm。其测试 - 重测组内相关系数分别达 0.995 和 0.988,与独立阅片者一致性相当且不受 B 扫描密度显著影响。该技术可支持地理性萎缩临床试验标准化结构终点及常规眼科客观评估。
PhotoQuilt 提出一种免训练的引导式分块去噪框架,解决扩散模型难以兼顾高分辨率与全局结构的难题。该方法先以低分辨率生成全局构图固定布局,再在潜在空间上采样并注入噪声恢复生成功能,随后在固定分块内进行独立去噪。实验表明,该框架在全局结构与局部真实感上均优于当前基线,且无需二次注意力成本即可扩展至大幅面画布。
针对成像系统中因运动或像差导致的平移变退化难题,该研究提出基于奇异值分解(SVD)的图像复原框架。方法依据累积能量百分比筛选小奇异值以抑制噪声放大,并在双向线性、高斯及简谐三种运动模型下验证了恢复细节与去模糊效果。论文为 arXiv 预印本,代码与权重暂未开放。
本文介绍了一种具有可证明鲁棒性的 Transformer-Actor-Critic 模型预测控制(MPC)架构,利用历史感知序列模型塑造局部优化并维持严格的物理安全保证。
HandwritingAgent 是一款无需特定风格训练的语言驱动智能体,能在离散网格画布中自主生成 SVG 格式的手写序列。该模型利用大推理模型对目标字符进行几何分析,支持对话或非对话模式下的多语种及复杂数学科学表达式生成。实验表明其在模仿、识别等任务上性能超越最先进生成模型,且具备更高效率与泛化能力。
论文提出了 VANDERER 框架,旨在解决移动智能体在无地图环境下的自主探索问题。该方法利用单目图像数据,通过视觉好奇心模块(VCM)预测导航世界模型中的动作结果并计算好奇心成本,以此引导预训练的扩散策略生成最大化探索效率的动作。实验表明,该框架在多种仿真环境中表现优于前沿搜索等基线方法,实现了 2.3 倍的探索效率提升,验证了视觉与几何好奇心在户外环境中的关联性。
针对跨模态知识蒸馏中高频带对齐松散的推断问题,作者提出将 RGB 教师与红外学生的共识分解为相位(空间位置)和幅度(大小)。实验显示细粒度下相位不相关而幅度仍保留,因此建议低频带进行复数特征监督、高频带仅监督幅度。
该论文提出了一种针对扭矩控制机械臂的紧凑型无偏交互误差模型预测控制(MPC)方法。该方法基于操作空间抵消原理,将交互建模为可预测量,利用力域随机游走状态估计持久交互与模型误差,并通过 30 变量凸二次规划映射修正。
推荐理由:作者提出一种面向力控机械臂的预测性交互误差 MPC,在仿真与实物 UR5e 上验证了其对持续负载的无偏跟踪能力。
该论文研究了基于潜变量动态重建的世界模型在四旋翼飞行器导航中的应用,特别是在训练环境分布发生偏移时的表现。研究对比了四种不同的深度感知训练环境设置,并评估了强化学习微调前后的重建质量及策略性能。
COLLAR 是一种免训练的扩散模型优化框架,旨在解决现有方法在物体级控制中存在的视觉伪影和局部区域精确控制困难问题。该方法通过视场(FoV)扩展逐步优化物体级特征:首先利用跨尺度语义对齐模块将物体特征注入扩展视场分支以消除空间语义差距;其次引入循环特征注入机制,基于频率自适应策略用上下文对齐的局部信息更新全局骨干网络;最后将扩展视场分支作为枢纽整合上下文对齐的特征。
论文介绍 Simulation-Informed Diffusion(SID),一种基于约束感知扩散模型的去中心化框架,通过模拟邻域机器人的未来轨迹来指导自身规划并仅在拥堵时触发协调。实验显示该方法在规划有效性和约束满足上优于基线,可扩展至 108 个机器人和 160 个障碍物的场景。材料为 NeurIPS 2026 论文,链接指向 arXiv 预印本。
针对异质机器人在未知环境中受限于感知、通信和计算能力的挑战,本文提出一种由主机器人领航、移动传感器(如无人机)辅助的协作框架。该框架利用提出的β稀疏高斯过程模型,在带宽约束下在线决定传输哪些地图区域及执行何种导航动作,同时预测未探索区域。仿真结果表明,该方法相比无通信基线将累积路径成本降低约35%,相比全信息高斯过程基线减少94%的传输信息量,并验证了基于预测的地图预测及任务相关区域选择的优势。
针对扩散 Transformer 在生成超训练范围分辨率时性能下降的问题,本文提出 SEGA 方法。该方法无需额外训练,通过在去噪步骤中根据潜变量的空间频率结构动态调整 Rotary Position Embeddings 各组件的注意力缩放比例,从而改善高分辨率合成中的结构一致性与细节保真度。实验表明,SEGA 在多种目标分辨率下均能提升生成质量,优于现有免训练基线。
针对全球南方两轮车事故率高且研究滞后的问题,作者发布了 MOTOR 数据集,这是首个专注于两轮车的多视角、多模态大规模资源。该数据集包含来自 16 名骑手的 25 小时以上视频数据,整合了前后及头盔视角视频、可穿戴眼动追踪、车载音频及 GPS/加速度计等遥测信息。
FundusGround 新基准引入空间定位病灶证据,收集了 10,719 张眼底图像及 15,595 个标注病灶,利用 ETDRS 网格映射至九个视网膜区域并生成 72,706 个问题。该工作通过答案准确率与病灶级推理双指标评测显示,引入空间证据能持续提升模型性能与透明度,解决了现有基准忽视视觉证据的临床可解释性问题。
该研究提出 VISTAQA 基准,包含 1,157 个专家 curated 样本,覆盖六种任务类型和六个视觉领域,要求模型不仅回答正确,还需提供支持答案的精确分割掩码。材料引入了 GROVE 统一评估指标,通过每样本几何平均强制文本准确性与定位质量共同生效,防止任一维度弥补另一维度的不足。实验显示即使最强系统在该指标下表现也有限,凸显了推理准确性与视觉证据对齐之间的巨大差距。
推荐理由:VISTAQA 基准与 GROVE 指标强制模型同时输出正确答案和像素级证据,揭示了当前多模态大模型在推理与定位对齐上的显著差距。
该研究利用 FixMatch 及其等变扩展 Dense FixMatch,在 Cityscapes 和 BDD100K 数据集的目标检测与语义分割任务中验证了方法的有效性。实验表明,当某任务可用标注样本较少时,不变/等变半监督学习性能显著优于监督基线,且后者通常表现更佳。研究证实该方法是从有限标注数据中进行多任务学习的有前景方向。
SynVA 是一款结合流匹配方法与学习方法的血管网格及解剖一致动脉瘤合成工具包,仅基于生理原理和统计先验即可生成大规模数据集。该工具发布包含 50,000 个全标注网格样本的数据集,预训练可提升真实数据上的点云分割与形态参数估计效果。代码将在论文被接收后开源。
论文指出将 Qwen3-VL-8B-Instruct 蒸馏至 3:1 Mamba-2/attention 混合架构时,虽然整体推理效率提升且视觉推理能力保持,但在 OCR 和文档任务上性能大幅下降。
推荐理由:针对混合架构蒸馏中 OCR 任务失效问题,提出无需额外参数的密度加权残差对齐方法 HEED,在保持推理效率的同时显著提升细粒度文本理解能力。
针对现有机器人模仿学习策略仅依赖当前或短时观测、难以解决长时程任务中历史依赖性模糊的问题,本文提出 DSSP 方法。该方法利用状态空间模型(SSM)的连续序列建模特性构建历史编码器,将完整观测流压缩为紧凑上下文表示,并通过动力学感知辅助目标优化以保留未来状态演化关键信息。
推荐理由:提出全历史编码的扩散状态空间策略,在仿真与真实操作中实现更小模型尺寸下的最先进性能。
Med-DisSeg 提出轻量级 Dispersive Loss 辅助正则化,通过联合通道与空间建模增强结构响应及多尺度自适应校准,解决目标与周围组织视觉相似导致的特征可分性不足问题。在涵盖三种成像模态的五个公开数据集上,该框架在小尺寸、形变及边界模糊目标的分割任务中展现出有效性与鲁棒性。源代码与预训练模型将在论文接收后发布。
针对长视频理解中密集采样导致视觉 token 过多、稀疏采样易丢失关键证据的问题,论文提出 EchoPrune 方法。该方法无需训练,通过将冗余视频 token 解释为可重建的时间回声来区分新事件与重复信息。利用查询引导的跨模态相关性和帧间对应匹配计算时间重建误差对 token 评分,在固定解码预算下使模型能处理多至20倍帧数,在 LLaVA-OV-7B 上实现5.6倍的推理加速和5%的性能提升。
Xuan Gong 等人提出 RAPO(Reflection Anchor Policy Optimization),一种基于 GRPO 的策略优化方法,旨在解决长链思维推理中视觉信息衰减问题。
该论文提出了针对预训练视觉模型的闭式线性探测数据集蒸馏方法 CLP-DD。该方法利用冻结特征的闭式解替代迭代更新,在 ImageNet 基准上相比 LGM 大幅降低计算与显存成本,同时保持或超越性能。代码已开源。
推荐理由:提出 Closed-Form Linear-Probe Dataset Distillation,利用预训练特征闭式解显著降低计算与显存开销。
针对标准世界动作模型在视角或布局变化时性能骤降的问题,该研究提出 OA-WAM,通过固定于回合的身份地址定位对象并读取其状态变化。模型在预训练多模态主干的每一层中,物体槽位键仅依赖地址和帧位置,值携带当前状态;同一地址同时索引动作指针和逐对象预测,可触发重定位。
针对统一多模态模型中理解与生成分离导致协同效应不确定的问题,本文提出理解导向后训练(UNO)框架。该框架将理解任务作为直接监督信号,通过编码语义抽象和结构细节的目标,实现从理解到生成的有效梯度流动。实验表明理解可作为生成的高效催化剂。
推荐理由:提出理解导向后训练框架,利用语义与结构监督引导生成表示。
EgoEMG 引入包含双侧腕部 sEMG、眼中心视频及动作捕捉数据的 25.9 小时多模态数据集,涵盖 68 名参与者、60 类手势及 10 种物体交互。研究建立 EMG-only、vision-only 与融合基准,显示添加 EMG 使 ViT-L 单帧误差从 7.39°降至 7.06°,但未见用户泛化仍具挑战。项目页面提供代码与数据访问入口。
ProS2T 提出了一种无需源数据、仅利用预训练视觉语言模型和无标签目标数据的完全无源域适应新范式。该方法通过结构优先与形状优先构建互补视图,渐进式融合预测以生成高置信度伪标签,在 Office-Home、VisDA-C 和 DomainNet-126 数据集上达到最先进水平并提升零样本分类性能。作为即插即用模块,ProS2T 有效解决了预处理导致的物体形变与结构线索丢失问题。
LLM-Flax 利用大语言模型为 Flax 规划流水线自动生成规则、处理故障并评分物体,在 MazeNamo 等八个设置下使平均成功率提升约三个百分点。该研究通过离线生成与运行时引导验证了可复用规则的效能,同时指出信息质量与推理效率是主要挑战。论文已提交至 arXiv(编号 2604.26569),代码与权重暂未提及开放许可。