VisualWorldBench:面向 MLLM 的视觉世界知识细粒度多任务评测基准
针对现有视觉基准类别覆盖窄、任务构建不严的问题,作者提出了 VisualWorldBench。该基准基于包含 21,291 个叶节点的层级分类体系,涵盖 8 个视觉领域,构建了 32,541 个评估实例。
推荐理由:该基准通过细粒度分类与多任务设计,揭示了现有模型在视觉世界知识上的能力缺口。
技术方向
检测、分割、三维感知、定位与视频理解,以及相机、传感器和视觉工程。
985 条精选近 30 天 659 条共收录 6,653 条
针对现有视觉基准类别覆盖窄、任务构建不严的问题,作者提出了 VisualWorldBench。该基准基于包含 21,291 个叶节点的层级分类体系,涵盖 8 个视觉领域,构建了 32,541 个评估实例。
推荐理由:该基准通过细粒度分类与多任务设计,揭示了现有模型在视觉世界知识上的能力缺口。
针对大视觉语言模型(LVLM)从单张图片推断用户位置带来的隐私风险,本文提出 GeoCloak 代理框架。该框架利用地理定位线索与视觉信息的不对称性,作为感知线索的规划器分析图像,识别关键地理线索并执行针对性的语义编辑以直接抑制这些边缘线索,同时自主配置对抗扰动进一步压制残留特征。
推荐理由:提出 GeoCloak 框架,利用边缘线索操作在保持语义的同时显著降低图像地理定位精度。
针对冰下 AUV(Icefin)视频进行 3D 结构重建不准确的问题,本文测试了四种模型:经典特征匹配 SfM、可微光度泼溅、体素深度融合和无姿态前馈基础模型。结果显示四者均失败且表现各异,但一致归因于小相机基线与场景深度的比率。作者据此提出了一种检测系统,可在几分钟内标记此类失效,避免浪费计算资源。
推荐理由:作者测试了四种重建模型在冰下视频上的失败模式,并提出了一种可在几分钟内检测此类失效的检测系统。
该论文提出了 SAM3RL,一种针对 Segment Anything Model 3 的扩展,通过强化学习训练轻量级控制器来优化视频对象分割中的记忆管理策略。
推荐理由:提出用强化学习训练轻量级控制器优化 SAM3/SAM2 的记忆管理,在多项基准上超越手工规则且无运行时开销。
论文 SPECTRA-VLA 提出一种方法,在不重新训练视觉编码器或动作解码器的情况下,为预训练的视觉 - 语言 - 动作模型提供原生宽度的光谱升级。该方法通过学习到的连续残差丰富每个目标令牌,并利用投影、归一化控制和验证校准的注入来调节变化。
推荐理由:提出在冻结 VLA 接口上通过连续残差注入提升高光谱识别,无需重训编码器或动作解码器。
该论文针对腿式运动控制中硬碰撞约束破坏梯度信号的问题,提出 E2DRL 框架,通过软可微障碍物交互公式与速度条件停止梯度塑造提供训练信号。系统利用 Soft Analytic Policy Optimization 训练的教师在仿真中蒸馏深度基学生策略,并结合地形感知门控模块实现部署。
推荐理由:提出软可微障碍物交互公式,在四足机器人上实现端到端视觉避障的仿真到现实验证。
该研究针对现代视觉语言模型在多图像上下文下的推理失效问题,设计了一个受控的 Schema 应用任务,要求模型在 16 张图像序列中定位两个目标字符并识别其属性。
推荐理由:通过引入两种不同的 Oracle 干预,研究发现多图像推理的主要瓶颈在于上游有序实例的恢复而非下游模式使用。
论文 CORE 针对工业异常检测中缺陷样本稀缺的问题,提出一种无需训练且成本高效的提示优化框架,统一支持零样本与单样本异常合成。该方法通过异常上下文定位模块将稀疏用户输入转化为缺陷感知生成上下文,并解耦正常区域保持与异常特异性变化;同时利用自监督对比反思机制自主优化提示词。
推荐理由:该工作提出无需训练的提示优化框架,统一零样本与单样本异常合成,在 MVTec-AD 和 VisA 数据集上验证了下游检测性能提升。
针对 3D 高斯泼溅(3DGS)在存储与传输上的资源消耗问题,本文提出 RDCompGS 方法,通过将可微分编码率估计纳入率失真优化过程,解决传统优化忽视不同表示间编码差异的局限。
推荐理由:提出 RDCompGS 方法,将可微分编码率估计引入 3DGS 优化,在 H.265/HEVC 和 JPEG XL 下分别实现 37.84% 与 49.31% 的码率降低。
针对基于空间填充曲线的最近邻搜索方法存在的邻近关系差距问题,研究提出了一种损失函数以优化特征相似性。该方法被集成到高性能 3D 点云分割模型中,并在三个数据集上评估,结果显示其在室内和室外点云数据上均优于传统方法。
推荐理由:提出了一种损失函数以减小空间填充曲线与欧氏空间间的邻近关系差距,在三个数据集上验证了其在室内室外点云分割中的有效性。
针对现有高光谱解混在 3D 场景中缺乏已知成分多视图数据验证的问题,作者提出 Spectral World Renderer (SWR),通过编码智能体构建可执行的 3D 世界并使用测量光谱渲染,使每张高光谱图像均附带精确标签与亚像素比例。
推荐理由:提出将世界生成与光谱解混统一的渲染框架,提供带精确标签的基准数据集及加速训练方案。
论文介绍 ActICL,一种通过工具增强推理让多模态大语言模型(MLLM)自主判断信息缺口并渐进式检索演示样本的后训练方法。该方法在七个基准测试上平均性能提升 11.6 个百分点,优于标准相似度检索;其构建的上下文也能有效赋能前沿模型如 GPT-5.6-Sol。材料为 arXiv 预印本,未提及同行评审状态或具体部署结果。
推荐理由:提出 ActICL 方法,通过工具增强推理让 MLLM 自主判断并渐进式检索演示样本,在七个基准测试上平均提升 11.6 个百分点。
该论文针对智能体视频理解任务,研究如何从有限噪声反馈中可靠发现通用系统。作者首先提出 VideoHarness-BRSI 框架,但在分析 4000 多个候选方案时发现验证过拟合、搜索预算稀释和早期经验陷阱等失效模式。
推荐理由:提出证据治理框架解决验证过拟合与搜索预算稀释问题,在四个基准测试中提升均分并缩小验证差距。
该研究针对多模态大模型在密集场景中因历史答案注意力接管导致的坐标重复生成问题,提出了压缩窗口自回归(WinAR)机制。该方法将长序列划分为连续生成窗口,仅对当前窗口进行全 token 级自回归,并将前序窗口压缩为固定数量的潜在 token 以条件化后续解码。
推荐理由:针对密集场景下多模态大模型检测器的坐标生成循环崩溃问题,提出压缩窗口自回归机制以平衡历史依赖与注意力分配。
NavAble 是一个针对盲助导航感知的大规模数据集,涵盖 11 类无障碍关键物体(如听觉行人信号、门激活按钮等),整合了 4.1 万张精选开源图像和 8000 张新采集的密集标注真实世界图像。
推荐理由:NavAble 数据集与合成生成管线公开,填补了盲助导航关键物体类别的数据稀缺问题。
论文论证了将空域视频像网页视频一样用 MLLM 做选择题评测的方法存在偏差,无法反映真实感知能力。研究通过元分析发现模型规模提升对空域基准的增益远低于人类差距,且采集条件(如高度、视角)显著影响准确率。现有基准缺乏闭环导航任务与跨视图几何测试,导致能力评估崩塌。作者据此提出五条可证伪原则,并建议采用 AVU-Card 报告卡规范未来评测标准。
推荐理由:该文通过元分析指出当前空域视频评测指标失效,提出几何感知缺失原则并建议采用 AVU-Card 报告标准。
MonoMIP 是一种针对单目 3D 目标检测的新方法,旨在解决传统深度引导 Transformer 在透视图像平面中因近大远小效应导致的空间关系扭曲问题。
推荐理由:该工作提出双解码器框架,利用多高度逆透视映射构建度量鸟瞰图特征以缓解单目深度估计中的形变问题。
该研究提出 Cortex 框架,旨在解决大语言模型在移除上下文后性能丧失的问题。通过生成前瞻性查询并蒸馏上下文条件输出为低秩或结构前馈网络更新,该方法实现了记忆巩固与能力保留的平衡。
推荐理由:报告提出 Cortex 方法,将上下文增益蒸馏为可合并的参数更新,在保持非目标能力同时实现记忆巩固。
该论文针对现有视频物体移除方法延迟高且无法实时交互的问题,提出了 StreamErase 模型。该方法在文本到视频模型基础上引入掩码输入,并通过滑动窗口因果注意力与 KV 缓存滚动技术,将强大双向基础模型的擦除能力迁移至高效单向流式生成器,实现了单 GPU 下低于秒级延迟、最高 26 FPS 的实时流式生成及任意长视频处理。
推荐理由:提出 StreamErase 方法,通过滑动窗口因果注意力实现视频对象擦除的实时流式生成与无限时长扩展。
视频生成器虽能构建交互世界,但生成的帧未必描绘一致的三维场景。现有基准缺乏对三维一致性的系统性评估。本文提出 Orbia 基准,首次从输入保持、生成内容持久性和三维自洽性三个维度,通过受控探索与回访机制,量化评估模型在外观、几何及空间稳定性上的表现。
推荐理由:Orbia 基准填补了交互式世界模型在三维一致性评估上的空白,提供了一套涵盖输入保持、生成内容持久性与三维自洽性的系统评测框架。