跳到正文
10月20日周二
  1. arXiv · 机器人与计算机视觉38

    Same Space or Not:通过跨视角矛盾评测空间智能的基准

    针对现有基准无法发现偏离真实视图的问题,研究引入包含千问问题的跨视角矛盾解析基准。人类准确率达 83.3%,而最强视觉语言模型仅为 39.7%;即使提供真值相机信息,解决准确率也仅升至 48%。结果表明跨视角矛盾解析是当前 VLMs 的显著弱点,需针对性监督改善。

10月19日周一
  1. arXiv · 机器人与计算机视觉36

    Benchmarking Robots for Everyday Environments:从实验室到真实运营的机器人评测流程

    该研究提出跨学科流程,在 2023-2025 年间通过七次活动评估三款机器人在公园清扫、人行通道清洁及图书馆互动协助任务的表现。评测聚焦任务完成度、交互质量、安全性与经济可行性,证实通用指标难以完全捕捉环境真实性带来的挑战。结论建议采用包含安全强制项的共享度量选择与文档化程序,而非固定指标集,以支持技术就绪等级 6-7 的系统过渡。

  2. arXiv · 机器人与计算机视觉55

    IMPLICIT-Bench:文本生成图像中的刻板印象默认值与提示遵循挑战

    论文介绍 IMPLICIT-Bench 基准,包含基于刻板印象知识图谱构建的 1,831 个提示词三元组(中性、刻板印象、反刻板印象)。测试显示 Qwen-Image 在中性提示下描绘刻板印象的比例达 52%,而遵循反刻板印象指令仅占 5%;在刻板印象最强的场景中,显式请求刻板印象的成功率为 97%,请求反刻板印象仅为 54%,其中 31% 的图像仍呈现刻板属性。

  3. arXiv · 机器人与计算机视觉78

    SidewalkBench:面向城市人行道的视觉导航基准评测

    针对城市人行道导航中复杂结构与动态行人行为带来的挑战,本文提出 SidewalkBench 基准。该基准基于 NVIDIA Isaac Sim 构建,包含程序化生成与真实扫描的高保真场景,并集成了丰富的反应式行人事件与高效动画系统。

    推荐理由:SidewalkBench 基于 Isaac Sim 构建高保真城市人行道仿真环境,对 9 个视觉导航模型在行人交互与长程任务上的表现进行量化评估。

  4. arXiv · 机器人与计算机视觉63

    MTEEdit:打包轨迹在多轮图像编辑中优于展开式生成

    针对多轮图像编辑中传统顺序生成易累积误差和产生视觉质量漂移的问题,作者提出以打包轨迹画布(PTC)为核心的数据构建管线,发布了包含 50 万条轨迹的 MTEdit 数据集及评测基准。基于该数据集微调后的 Qwen-Image-MTEdit 在开源模型中表现最佳,验证了该方法的有效性。

  5. arXiv · 机器人与计算机视觉78

    STRIDE:自动驾驶边缘案例中的时空推理评估基准

    STRIDE 是一个面向自动驾驶长尾安全场景的物体中心基准,涵盖空间感知、时间记忆与轨迹预测等六类任务。该基准在十二个模型上测试发现,即使表现最好的 GPT-6-Astra 在多选题准确率也仅为 43.4%,且描述场景的能力无法转化为准确的安全判断,模型更难以重构物体运动而非回忆过去位置。

    推荐理由:该基准通过多任务评估揭示现有模型在时空推理上的短板,指出描述能力与安全判断能力的脱节。

10月17日周六
10月16日周五
  1. arXiv · 机器人与计算机视觉36

    全球建筑与聚落数据集跨地理场景对比评估:Overture Maps 表现最优但需结合尺度选择

    研究对七款全球建筑数据集在 135 个区域进行了基准测试,发现 Overture Maps 城市级向量 F1 最高达 0.786。栅格数据精度随密度提升且依赖尺度:Google Open Buildings Temporal (OBT) 在 10m 分辨率下表现最佳,而 WSF Tracker 在 100m 时 F1 为 0.904 但高估面积。

  2. arXiv · 机器人与计算机视觉80

    超越单轴测试:视觉语言动作策略的复合鲁棒性配对评估

    论文介绍 LIBERO-CTRL 六轴基准,通过配对每个初始状态下的单轴条件与匹配的同时发生条件,揭示仅靠聚合成功率无法区分的两种对立结果变化:所有单轴成功但联合失败(涌现失效),以及至少一个单轴失败但联合成功(补偿成功)。研究显示在六种策略和三种严重程度下,最多 29.0% 的匹配初始状态会出现结果变化,复合鲁棒性不能仅由单轴成功率表征。

    推荐理由:引入 LIBERO-CTRL 六轴基准,揭示单轴评估无法捕捉的联合扰动失效与补偿成功现象。

  3. arXiv · 机器人与计算机视觉72

    DroneCATS:一种评估多模态大模型作为无人机通用视觉语言动作代理的基准

    论文提出了 DroneCATS 基准,用于评估多模态大模型(MLLMs)在控制无人机执行指挥、接近、跟踪和搜索任务时的表现。研究涵盖了从前沿模型到小型开源模型的十种 MLLM,并在仿真与真实无人机上测试了单架及多机协同场景。结果显示,虽然前沿模型成功率最高但受延迟影响难以锁定移动目标,而经过微调的小型模型在真机上表现更优。作者将完全开源该基准。

  4. arXiv · 机器人与计算机视觉62

    EPIC-Bench:面向具身视觉语言模型细粒度 Grounding 的感知中心基准

    EPIC-Bench 是一个针对具身智能场景下视觉语言模型(VLM)基础视觉语言定位(VLG)能力的细粒度基准,弥补了现有大模型在具身环境中的评估空白。该基准包含 6.6k 条人工标注的(图像、文本、掩码)元组,覆盖目标定位、导航和操作三个核心交互阶段,并设计了 23 个细粒度任务与多维设置。研究对 80 个领先的 VLM 进行了系统性评估,提供了诊断性分析结果。

  5. arXiv · 机器人与计算机视觉78

    Comfortably Stuck:Bench2Drive 闭环评估协议的陷阱与修正方案

    论文指出 Bench2Drive 基于 CARLA 的闭环评估协议存在严重缺陷:其舒适度指标因实现错误和奖励静止的策略,导致评分与实际驾驶表现相关性极低;导航信号供给机制也存在控制器替换转向及训练/测试目标点不一致的问题。作者通过实验验证了这些陷阱对 UniAD 等模型的影响,并发布了独立的修正代码,允许在不重新运行仿真复现的情况下获取更准确的舒适度分数。

    推荐理由:原文指出 Bench2Drive 闭环评估协议存在指标实现错误与导航信号供给缺陷,导致评分失真,并提供了修正后的距离基线代码。

  6. Hugging Face Daily Papers75

    PersonaCUABench:评估服务多样化人设的计算机使用智能体

    该基准针对固定任务规范无法反映真实用户需求的问题,引入了 44 种不同人设来改写指令并提问,使智能体仅通过对话交互完成任务而不直接看到原始指令或用户画像。在涵盖 11 个领域的 74 项任务中,基于九种骨干模型共运行 3,330 次,结果显示平均任务完成度较原始请求下降 36%。

  7. arXiv · 机器人与计算机视觉72

    如何构建真正衡量审美的基准:TasteBench 发布

    论文介绍 TasteBench,这是一个针对视觉、品牌、书籍和科技产品的成对优劣基准,采用专家金标准并分离工艺判断与应试行为。Round-1 试点发现位置偏差(偏好项在 A 位概率 0.956)和文件名泄露等伪影,作者发布评估工具修正了位置偏倚,但指出工艺领域存在难度上限问题需后续解决。

  8. arXiv · 机器人与计算机视觉58

    MeshSuite:首个针对三角形与网格神经渲染的引擎部署统一基准

    论文提出了 MeshSuite 基准,用于系统评估三角形和网格基神经渲染方法在图形引擎中的部署情况。研究对比了标准部署(使用不透明网格管线)和专用部署(保留外观特性),发现引擎部署会降低图像质量,其中 MeshSplatting 在标准部署下退化最小;同时指出显式连接性和共享索引在拓扑完整性方面仍有限制。该工作为神经渲染与图形引擎的兼容性评估提供了统一框架。

  9. arXiv · 机器人与计算机视觉78

    HM3D-M3:多智能体多模态多目标导航新基准发布

    论文提出了 HM3D-M3 基准,旨在解决现有研究将多智能体、多模态与多目标导航割裂的问题。该基准在一个光真实室内场景中,让 K 个机器人团队从分布位置出发,搜索由类别名、实例图片或口语描述指定的 M 个无序目标。

    推荐理由:该基准填补了多智能体、多模态与多目标导航同时存在的空白,提供了千集验证数据及两个基线方法。

  10. arXiv · 机器人与计算机视觉78

    VisualWorldBench:面向 MLLM 的视觉世界知识细粒度多任务评测基准

    针对现有视觉基准类别覆盖窄、任务构建不严的问题,作者提出了 VisualWorldBench。该基准基于包含 21,291 个叶节点的层级分类体系,涵盖 8 个视觉领域,构建了 32,541 个评估实例。

    推荐理由:该基准通过细粒度分类与多任务设计,揭示了现有模型在视觉世界知识上的能力缺口。

  11. arXiv · 机器人与计算机视觉42

    WorldMemBench:视频世界模型记忆评测基准发布

    WorldMemBench 基准通过 260 个测试用例,系统评估视频世界模型的静态与动态记忆能力。该基准结合外观几何指标与事件特定评估,发现强静态保留并不意味可靠的动态状态演化。研究涵盖九款代表性模型及人类对齐验证,为构建持久且时间连贯的视频世界提供诊断工具。

  12. Hugging Face Daily Papers58

    RuleTrek:面向复杂场景的智能体规则推理基准

    论文介绍 RuleTrek 基准,旨在解决现有评测简化场景信息的问题。该基准通过提取结构化规则图并生成子场景,评估大模型在交互式工作空间中的三项核心能力:规则识别、规则推导及端到端规则推理。实验显示当前主流大模型在这些复杂任务上仍面临显著挑战。代码与数据集已开源。

10月15日周四
  1. Hugging Face Daily Papers78

    GlobeBench:评估可扩展环境仿真的文本世界模型能力

    该论文提出 GlobeBench 基准,包含跨五个领域的 1632 个任务,用于评估文本世界模型对 RL 环境状态转换的模拟能力。研究对比了 20 种通用大语言模型与专用文本世界模型,发现 GPT-6 Astra 在任务成功率上最高为 49.57%,但在涉及多对象依赖传播的任务中平均成功率仅 5.1%。基准采用混合架构结合确定性门控与语义判断器进行验证,并开源了代码与数据。

    推荐理由:GlobeBench 基准通过 1632 个任务评估文本世界模型的仿真能力,揭示 GPT-6 Astra 等模型在复杂环境响应预测上的局限。

10月14日周三
10月13日周二
  1. Hugging Face Daily Papers48

    OmniCompass:全模态视频定位与理解综合评测基准发布

    OmniCompass 推出包含 820 个视频实例的全模态视频定位与理解评测基准,涵盖视觉语言及视听联合两条轨道。该基准通过时序、空间定位与问答任务评估模型能力,发现开源大模型在视听理解上仍落后于专有模型且存在预测不一致问题。所有数据经多轮人工标注验证,预印本代码与权重待开放许可。

  2. Hugging Face Daily Papers82

    Game2Real-Bench:玩具游戏能否揭示并迁移至现实世界的视觉推理?

    论文提出了 Game2Real-Bench 基准,旨在研究基于玩具游戏的评估指标是否对应真实世界的视觉推理能力。作者构建了包含 1000 个可执行验证的游戏样本和 400 个按推理要求对齐的真实世界样本,对 25 种代表性 VLM 进行了测试,观察到游戏与真实场景间高达 0.935 的相关性。

    推荐理由:该基准通过对比玩具游戏与真实世界样本,量化了视觉推理能力的迁移效果,为评估 VLM 在复杂场景下的泛化性提供了新工具。

  3. Hugging Face Daily Papers58

    MFVSR:视频字幕去除的多风格细粒度基准

    MFVSR 是一个大规模多风格基准,包含来自真实高清、低清及生成来源的 3000 对视频数据,并涵盖 16 种语言与四种布局因素的字幕多样性。该研究引入信息条件化且空间解耦的评估协议,分别测量修复保真度、保持保真度、时间保真度等指标,实验显示现有方法在局部修复与区域保持间存在显著差异,传统全帧指标无法捕捉这些细粒度问题。

10月12日周一
  1. arXiv · 机器人与计算机视觉72

    GraphVerse:面向多模态大模型的全面视觉图推理基准

    针对现有评估难以检验模型对结构化视觉信息的真实推理能力问题,作者提出了 GraphVerse 统一基准。该基准涵盖单图与配对图设置,核心包含能修改图像语义的图中心编辑策略及关注推理过程的评分指标。实验揭示了当前多模态大模型的局限并验证了方法的有效性。代码已开源。

  2. arXiv · 机器人与计算机视觉48

    Vision2Code:多领域图像生成代码评测基准发布

    Vision2Code 是一个包含 539 个测试样本的多领域、免参考代码基准,涵盖图表、几何图形及三维场景等 15 类数据集。该基准通过执行生成程序并对比渲染输出,其评分与人类评价的相关性显著高于通用 VLM 判据或像素相似度指标。实验显示该方法在微调 Qwen3.5-9B 和 Phi-4-MM 模型时,分别提升准确率 16% 和 28%,相关代码数据已公开。

  3. arXiv · 机器人与计算机视觉68

    WorldGenBench:一个集成世界知识的推理驱动文生图生成基准

    WorldGenBench 是一个用于评估文生图系统整合事实 grounding 与情境推断能力的基准。该研究提出知识清单评分法,测试了 24 个模型,发现专有模型如 GPT-4o 表现较强,而大多数开源系统在文化多样性和科学场景中存在差距。分析还指出了语义幻觉和非西方知识代表性不足等常见失败模式。

  4. arXiv · 机器人与计算机视觉78

    MAGMA-Bench:面向动态任务与执行失败的长周期具身智能体评测基准

    论文介绍了 MAGMA-Bench 这一架构无关的评测基准,用于评估具身智能体在动态多机器人环境下的持久任务推理能力。该基准涵盖从简单到复杂的任务跨度,并引入受控的在线扰动(如执行失败、任务中断和任务更新),要求智能体协调具有异构能力的机器人。

    推荐理由:该基准针对长周期多机器人任务中的动态干扰与执行失败提供架构无关的评测,并公开了训练数据与专家轨迹生成管线。

  5. arXiv · 机器人与计算机视觉38

    OccludeBench 评测 VLMs 缺失物体推理能力,发现直接线索任务准确率仅 42.7% 且 inpaint-then-confront 干预可消除差距

    OccludeBench 基准测试显示,五款视觉语言模型在直接线索(如阴影)恢复被遮挡物体时平均准确率为 42.7%,远低于推断类任务的 62.7%。引入的 OccludeTrace 诊断工具揭示瓶颈在于从全图投影中定位目标仅成功 50%。针对具备图像生成能力的模型,采用“先补全候选再验证线索”的干预策略可将差距降至统计无显著差异水平。

  6. arXiv · 机器人与计算机视觉38

    生成式增强提升 AI 测试与评估语义覆盖度

    针对测试数据集在时间、天气等关键输入条件下语义覆盖不足的问题,研究提出无需真值标签的三阶段生成式 AI 流程。该流程利用视觉语言模型零样本标注并聚类影响下游行为的语义,再通过扩散图像到图像模型将现有图像转化为欠表示域以增强外观特征。实验验证显示,在日/夜语义差距场景下,经增强的测试集能更准确区分模型是否接触过缺失语义,使评估结论更接近理想全覆盖数据集的结果。

  7. arXiv · 机器人与计算机视觉78

    对现有 VLM 基准评估运行的审计:揭示图像依赖度不足与评分偏差

    该研究提出一种审计框架,复用 VLM 评估运行中已生成的预测、正确性及元数据工件,通过 VLMEvalKit 新增的六个检测器及纯文本重跑层进行后处理分析。在 MMStar 基准上发现,20.2%的问题无需图像即可达到零准确率增益,其中数学与科学类别存在显著偏差;另有 134 个问题因所有模型均选择同一非标准答案而引发评分争议。

    推荐理由:作者利用现有评估运行产生的原始工件,为 VLMEvalKit 新增审计层以检测基准缺陷与评分偏差。

  8. arXiv · 机器人与计算机视觉45

    TextVBench:视频生成文本渲染与保留评测基准

    TextVBench 将视觉文本评估构建为多目标时空对应问题,通过 T2V 和 Ref2V 两条轨道分别衡量提示词文本创建及参考图文本保持能力。MiniMax-H3 在 T2V 任务中取得 68.32 分,Ref2V 最强分数为 56.51,且随同时参考文本区域增加性能显著下降。该基准支持目标条件候选选择以区分空间保真度与跨帧时序一致性,并开放代码供社区使用。

10月10日周六
  1. 盖世汽车 · 汽车资讯12

    2026 年 8 月 TOP30 SUV 销量投诉量点评:深蓝 S05 投诉暴涨 345%、小米 YU7 投诉降至年内最低点

    2026 年 8 月国内 SUV 市场累计零售销量 86.5 万辆,车质网受理有效投诉 9,031 宗。深蓝 S05 因系统升级导致续航缩短问题,投诉量环比暴涨 345% 至 89 宗;小米 YU7 投诉量降至年内最低点 20 宗,环比降幅达 61.5%。服务类投诉占比超 1/4,“系统升级”与“不按约交车”问题持续攀升。