CoWorld Reasoner:基于演进式视频世界模型的代理多模态推理
论文介绍 CoWorld Reasoner 框架,该框架将视频世界模型(VWM)作为统一的视觉推理引擎,通过工具调用和技能引导 VLM 进行灵活的视觉想象与空间、因果及感知推理。
推荐理由:提出利用视频世界模型作为统一视觉推理引擎的代理框架,在多项基准测试中优于直接推理。
技术方向
三维重建、空间表示、视觉定位和可交互环境中的感知与推理。
760 条精选近 30 天 559 条共收录 4,114 条
论文介绍 CoWorld Reasoner 框架,该框架将视频世界模型(VWM)作为统一的视觉推理引擎,通过工具调用和技能引导 VLM 进行灵活的视觉想象与空间、因果及感知推理。
推荐理由:提出利用视频世界模型作为统一视觉推理引擎的代理框架,在多项基准测试中优于直接推理。
arXiv 论文 LIMBO 提出了一种框架,通过从黑盒状态转移中学习状态 - 动作控制屏障函数,并将其安全结构蒸馏到任务策略中。该方法在冻结基控制器周围对残差动作进行基于剩余的安全证书合成,使 Q-CBF 合成在全控制维度上可行。实验在一个拥有 29 个自由度的类人机器人上进行了躲避球和跨越低障碍物的运动演示,展示了学习到的策略无需在线安全过滤即可直接迁移到硬件。
推荐理由:该框架将安全证书蒸馏至任务策略,使学习到的安全合成可扩展到全身敏捷控制且无需在线安全过滤。
arXiv 论文介绍了 VOiLA 框架,旨在解决部分可观测马尔可夫决策过程(POMDP)中的不确定性规划问题。该框架通过条件扩散模型学习任务无关的 POMDP 世界模型,并将采样器蒸馏为紧凑的前馈生成器以集成到向量化在线 POMDP 规划器中。
推荐理由:该研究提出 VOiLA 框架,利用蒸馏后的扩散模型实现 POMDP 在线规划,在仿真数据上实现了物理机器人任务的完美执行。
论文提出 SADGE 指标,用于在不进行下游模型训练的情况下预测合成图像数据集在常见计算机视觉任务中的表现。研究指出仅凭外观或几何相似度无法可靠预测性能,二者需通过非线性交互共同作用。
推荐理由:提出 SADGE 指标,证明外观与几何相似度的非线性交互能预测合成数据在检测、分割等任务的下游性能。
针对现有一次过三维场景合成方法易产生碰撞等空间幻觉的问题,论文提出 SceneReVis 框架,利用多模态反馈执行迭代的诊断与行动循环以显式拦截并解决冲突。研究构建了包含因果构建轨迹的 SceneChain-12k 大规模数据集,并提出从监督微调过渡到智能体强化学习的两阶段训练方案。
推荐理由:提出基于多轮强化学习的自反思框架,通过因果构建轨迹数据集解决三维场景合成中的空间冲突问题。
针对多模态大语言模型(MLLM)在少样本细粒度视觉分类任务中易过拟合的问题,论文提出 UniFGVC 框架,将任务重构为基于预定义类别模板的多模态检索问题。其核心是属性感知模块 Category-Discriminative Visual Captioner,利用思维链推理生成富含判别性视觉属性的结构化描述,结合任意预训练编码器进行特征提取与相似度计算。
推荐理由:提出无需微调的通用少样本细粒度分类框架,通过属性感知多模态检索解决 MLLM 在稀疏数据上的过拟合问题。
针对传统卡尔曼滤波在远距离和遮挡场景下因运动模型失配导致的状态漂移问题,本文提出一种运动动力学卡尔曼滤波(MD-KF)。该方法通过时间建模捕捉物体运动变化并自适应调整运动分量贡献,以修正预测漂移,同时保留单模型结构以维持计算效率。
推荐理由:提出单模型结构的运动动力学卡尔曼滤波,在保持效率的同时提升远距离与遮挡场景下的跟踪精度。
arXiv 论文介绍 Mallea 系统,该系统利用编码智能体从文本提示中推断物体交互需求,联合规划物体结构、属性及规则以支持紧凑表示。系统通过生成式渲染器结合当前结构与记忆的纹理外观来推进世界状态,并允许用户动作引导演化或编辑属性而不影响现有状态。材料为预印本版本,未报告真实机器人部署结果。
推荐理由:原文提出 Mallea 系统,通过编码智能体构建可编辑的文本驱动世界模型,支持对象交互规划与纹理记忆。
论文指出标准掩码策略会导致 3D 点云 SE(3)等变网络发生拓扑坍缩,迫使模型在无参考系下幻觉方向。为此提出 SIEVE(Scalar Invariant Extraction Via Equivariance)框架,利用球面投影掩码在保留全局姿态的同时模糊局部语义,从而规避该障碍。
推荐理由:该文提出 SIEVE 框架解决 SE(3)等变网络在点云掩码自监督学习中的拓扑障碍,实验显示其优于坐标基线与手工描述符。
论文介绍 T2-Z 方法,该方法为机器人世界模型引入可学习的无监督环境潜变量,在训练阶段交替优化动力学与潜变量结构,在测试阶段仅凭少量交互即可适配新环境。实验显示,该方法在仿真和真实任务中将物体预测误差从 15.20 降至 7.00,动作成功率从 33.73% 提升至 72.96%,且能高效捕捉环境与物理因素的联合表征。
推荐理由:该工作提出在测试时优化环境潜变量以适配未见过的环境配置,显著降低预测误差并提升任务成功率。
论文介绍 MJev-Spatial,这是一个基于 Qwen3.5-4B 构建的 System 1 多模态决策模型,旨在解决空间关系判断、距离测量和物体定位等任务。
推荐理由:该工作提出 MJev-Spatial,通过原生注意力匹配将空间理解任务转化为分类问题,在保持高精度的同时显著提升了推理速度。
针对现有 Splatting 方法依赖迭代非线性优化导致计算耗时和显存占用高的问题,本文提出 CF-Splat 框架。该方法在已知网格几何和标定相机条件下,将渲染像素颜色表示为顶点球谐系数(SH)的线性函数,从而将多视角外观估计转化为全局线性最小二乘问题,无需迭代优化。
推荐理由:提出基于已知网格的闭式三角形 Splatting 框架,将渲染问题转化为全局线性最小二乘求解,显著降低计算与显存开销。
针对传统感知规划栈将行人、车辆和墙壁等同处理的缺陷,该研究提出一种模块化全机载管道,利用共享 BLIP 编码器生成场景描述与分割,结合深度信息在三维空间定位障碍物。
推荐理由:该工作提出在 Jetson Orin NX 上运行的轻量化 LLM 导航方案,通过缓存推理与检索增强实现人感知的安全避障。
全切片图像可能包含共存的病灶,但弱监督通常仅提供最严重的诊断。本文将其建模为主导标签多重实例学习问题,提出 DomSet-MIL 框架以对齐包与实例层面的标注机制。
推荐理由:提出 DomSet-MIL 框架,在主导标签监督下恢复共存的次要病灶证据。
论文指出世界模型规划器在部署时面临计划轨迹与实际执行不一致的问题,直接替换预测轨迹效果有限。作者提出 ExecutionBridge 方法,通过推断控制器特定的执行特征来适配原生自我潜变量展开,同时保持原计划轨迹和冻结的规划器、世界模型及奖励头不变。该方法在 NAVSIM 基准上对未见过的控制器配置和多款冻结规划器均能提升规划性能,尤其在驾驶场景复杂时增益显著。
推荐理由:针对冻结的世界模型规划器与控制器执行偏差问题,提出 ExecutionBridge 方法以适配执行特征。
针对动态环境中行人遮挡导致的目标丢失问题,本文提出 VP-EVT 框架,将目标可见性作为显式运动控制目标而非跟随副产品。该方法利用语言引导感知分离目标与行人观测,结合视觉历史与本征运动维持相对位置估计,并通过循环控制器协调视角调整以恢复稳定跟踪。
推荐理由:提出 VP-EVT 框架将可见性作为显式运动控制目标,在 occlusion 场景下显著降低丢失时长并提升成功率。
针对低光照环境下的噪声、伪影和结构丢失问题,该工作提出了 VesperMUSE 统一多模态框架。架构通过物理感知的合成低光适应算法、热引导的低光增强范式以及多模态融合策略,动态整合 RGB 特征与辅助的热成像及表面法线图。
推荐理由:提出融合 RGB 与热成像及法线图的统一框架,在低光照下恢复语义分割性能。
针对语言引导的 3D 功能区域定位中现有方法对未见对象泛化性差的问题,本文提出 BridgeAfford 框架以缓解查询特征与目标区域特征的语义差异。该方法通过交互区域对齐促进几何相似区域的跨对象表示学习,并利用视觉证据聚合细化注意力分布以引导查询至正确区域。实验表明该框架在 LASO 和 PIAD 数据集上优于现有方法,尤其在对未见对象的泛化性能方面表现突出。
推荐理由:提出 BridgeAfford 框架,通过交互区域对齐与视觉证据聚合缓解查询 - 目标语义差距,在 LASO 和 PIAD 数据集上展现对未见对象的强泛化能力。
本文发布了 Digital Typhoon Dataset V3,这是跨度近 50 年的最长台风卫星图像数据集的新版本,新增多光谱数据以支持多通道模型。研究评测了数据划分策略及南北半球基准结果,发现当前设置下多通道输入并未显著优于单通道输入用于气压回归;ResNet-18、全分辨率图像和 Channel 1 在单通道任务中表现最佳。
推荐理由:本文发布台风数据集 V3 并评测多光谱输入对气压回归的增益有限,同时揭示强台风强度低估的系统性偏差及现有加权策略的不足。
论文应用机制可解释性方法,在 ViT-Base 16 模型中定位到一个专门读取注释文本而非肺病理的单一注意力头(L8H10)。因果验证证实该行为由标注内容驱动,移除后肺部注意力增加。该现象在 NIH ChestX-ray14、DeiT-Base 和 ViT-Large 16 三个架构上复现。全量微调无法抑制该偏差甚至可能强化它,且单头消融显示输出级评估完全无法察觉此因果电路。
推荐理由:通过机制可解释性发现 ViT 模型在医疗影像中利用注释文本而非病灶进行推理的虚假注意力头,且该偏差无法通过微调消除。