跳到正文
10月27日周二
  1. arXiv · 机器人与计算机视觉68

    BEHAVIOR-Spatial 基准:评估机器人的空间理解能力

    本文发布 BEHAVIOR-Spatial 基准,基于 BEHAVIOR-1K 构建,包含 3,256 个空间问答、1,240 个点定位查询及动作评估。实验显示基线模型在固定布局下仅能遵循 41.6% 的指令,当目标变更时降至 16.1%,表明单纯的任务成功无法证明空间指令被正确执行。研究还发现视觉语言模型的问答能力与机器人操作性能存在策略依赖的相关性,为评估空间感知向行为的转化提供了新视角。

  2. arXiv · 机器人与计算机视觉58

    OODConceptBench:评估 VLM 开放世界概念识别能力的分层基准

    作者提出 OODConceptBench 这一包含 30,752 张图像的分层基准,用于测试视觉语言模型对开放世界概念的零样本识别能力。评测涵盖 560 个概念短语及七个类别,结果显示所有 37 款模型在更难子集上的表现均低于主集,且新发布模型并未必然提升特定类别的泛化效果,表明 OOD 问题仍是当前挑战。

10月26日周一
  1. arXiv · 机器人与计算机视觉68

    图像编辑模型是否理解光照?——3D-anchored Light Probe 基准发布

    该工作引入 3D-anchored Light Probe (3DLP) 基准及包含 1K 对真实室内场景的高保真 HDR 数据集,其中物理光源被实际开关以验证图像编辑模型的光照理解。研究通过标注阴影与金属表面等区域,评估了主流模型的物理一致性,发现低光照区域误差更显著且 VLM 不适合像素级光传输分析。基准与数据将公开以供未来研究使用。

  2. arXiv · 机器人与计算机视觉78

    VERA-Hand:面向第三人称动态手势视频的 2D 手姿态估计多维验证基准

    VERA-Hand 是一个针对 2D 手姿态估计的多维验证基准,包含对 10,690 个手部实例的人工验证标注。该基准从检测、定位、识别及时序稳定性四个维度评估模型,并引入联合 Pose-F1 指标要求同时满足正确检测与精准定位。

    推荐理由:该基准通过人工验证标注和多维指标,揭示了现有手姿态估计器在漏检、身份混淆及时序稳定性上的局限。

  3. arXiv · 机器人与计算机视觉78

    RVL-CDIP 数据质量审计:发现标签错误与测试集污染并发布修正语料

    RVL-CDIP 作为文档分类事实标准基准,其报告准确率已达 98.8%。本研究对其进行系统性审计,发现约 10.5% 的 40 万份文档存在错误标签,35.2% 的测试集样本在训练集中有重复或近似副本。

    推荐理由:该研究对 RVL-CDIP 基准进行系统性审计,发现标签错误、测试集污染及敏感数据问题并公开修正版。

  4. Hugging Face Daily Papers65

    Co-Design Bench:面向智能体的多模态协同编码评测基准

    论文介绍 Co-Design Bench 基准,包含来自 2.6 万真实用户会话的 273 个去重任务,覆盖多模态编辑与仓库编辑两类场景。评测采用 judge-then-refute 协议验证智能体对隐藏专家标准的满足情况,结果显示最强模型平均仅通过 69.9% 的标准且完全满足任务的比例仅为 26.4%,揭示了当前智能体在真实应用修订中的能力局限。

10月25日周日
  1. Hugging Face Daily Papers42

    LOLPlay:实时视觉智能体《英雄联盟》基准评测

    LOLPlay 是首个在原生《英雄联盟》环境中构建的基准,涵盖资源管理、战斗等 36 项冠军专属任务。GPT-6 Astra 模型在低/中等推理努力下取得最高任务成功率 25.0% 和子目标成功率 40.3%,但高努力并未提升指标。该基准通过截图与鼠标键盘交互,揭示了视觉推理与时机动作结合的必要性。

  2. Hugging Face Daily Papers38

    InteractiveWorld:首个可验证的人机闭环交互环境,揭示前沿 MLLM 在物理世界辅助任务中表现不足

    InteractiveWorld 是首个支持人机闭环交互的可验证环境,让 AI 助手指导人类代理独立行动并基于状态奖励评分。构建的 InteractiveBench 包含六类共 120 个多轮任务,实验显示即便最强的 Claude Fable 5.1 在长程引导与规划任务上成功率也仅分别达 20% 和 25%,表明当前 MLLM 尚无法可靠辅助人类完成物理工作。

10月23日周五
  1. arXiv · 机器人与计算机视觉78

    RiskCueBench:基于早期风险线索的视频语言模型前瞻性推理基准

    RiskCueBench 是一个新的视频理解基准,旨在评估视频语言模型从早期视觉信号中预测未来风险事件的能力。现有数据集常包含事故本身导致任务过易,而该基准通过标注最早的风险信号片段来模拟真实世界条件。实验结果显示当前系统在此类前瞻性推理上存在显著差距,突显了部署此类模型的挑战。材料为预印本版本,未提及同行评审状态或具体开源许可细节。

    推荐理由:该基准通过标注早期风险信号片段,揭示了现有视频模型在从早期视觉线索预测未来风险事件方面的显著能力差距。

  2. Hugging Face Daily Papers78

    AgentVQA:面向智能体视觉理解的统一离线基准

    针对现有智能体评估成本高且碎片化的问题,研究团队构建了 AgentVQA 离线基准,涵盖 Web、机器人、第一人称视频、游戏和空间规划五类场景。该基准从 23 个源数据集人工筛选出 1000 个挑战性实例,其模型排名与在线评测结果一致。

    推荐理由:该基准通过人工筛选构建跨五类智能体场景的离线评测集,揭示了模型在视觉状态维持与空间推理上的主要瓶颈。

10月22日周四
  1. arXiv · 机器人与计算机视觉48

    EyeVQA:从识别到空间定位的眼科视觉语言模型评测基准

    EyeVQA 是一个统一的眼科视觉问答评测基准,整合了 21 个数据集共 20,000 个问题对,涵盖六种疾病组及七种题型。其中 44.5% 的问题需跨图像推理,打破了传统单图医疗 VQA 局限。在统一的零样本协议下测试的十四款模型最高仅得 62.8 分,揭示了当前视觉语言模型在眼科空间理解上的不足。

  2. Hugging Face Daily Papers73

    UserArena:用于长周期购物智能体的交互式用户模拟基准

    论文介绍 UserArena 基准,包含来自 1.1 万用户的 6.47 万条会话轨迹,覆盖 56.6 万商品与 13 种动作类型。该基准配备交互式环境并支持基于生产 A/B 测试结果的离线验证,可实现从输出有效性到最终结果的五级评估。作者还提出了 On-Policy Trajectory Distillation 方法以提升长周期交互的仿真保真度,实验表明其在复现生产策略效果方面表现最佳。

  3. Hugging Face Daily Papers78

    Dual Exam:多模态智能体与世界模型的受控评估

    Hugging Face Daily Papers 收录了一篇题为《Dual Exam: Controlled Evaluation of Multimodal Agents and World Models》的论文,作者来自上海 AI 实验室等机构。

    推荐理由:该工作提出 Dual Exam 框架,分别在固定环境响应和动作干预下评估多模态智能体与世界模型的解耦性能。

10月21日周三
  1. arXiv · 机器人与计算机视觉28

    ReRef-3D:空间指代引导的三维物体放置基准评测

    ReRef-3D 是一个针对受控三维桌面场景的语言引导单物体放置基准,包含 998 个场景与 33,826 条指令。评测显示 PlaceIt3D 在区域监督下达到约 80% 的放置准确率,LLaVA-3D 约为 70%,且最近邻与对齐关系最难处理。该基准已提交至 ACL Rolling Review,代码与数据暂未开放。

  2. arXiv · 机器人与计算机视觉44

    LAD-bench:面向图像逻辑故障检测的基准评测

    LAD-bench 是一个包含超千张合成图像的基准,涵盖居住、城市、协作与自然四大领域,旨在评估视觉语言模型在开放世界中的自主逻辑推理能力。评测采用分层提示协议,结果显示最佳基础模型整体准确率仅为 70.11%,且即便提供明确线索仍常无法识别异常。该工作已接受 IEEE ICDL 2026 会议,代码与数据集公开于 GitHub,推动视觉系统的安全性与认知对齐研究。

  3. arXiv · 机器人与计算机视觉68

    StreamEval:交互式流式视频生成模型评估基准发布

    StreamEval 是一个用于评估交互式流式视频生成模型的统一基准,涵盖头像对话、性能表现、世界生成、指令编辑和参考编辑五项任务。该基准包含 300 个脚本测试案例(时长 15-300 秒),定义了初始资产、增量多模态请求及状态变更与内容保留的明确要求。

  4. arXiv · 机器人与计算机视觉48

    CAPSafe:具身智能体情境动作与计划安全推理基准评测

    CAPSafe 是首个评估具身智能体在复杂危险家庭任务中安全推理能力的基准,包含测试单步动作安全性的行动级数据集和评估长程规划的计划级数据集。对九款闭源及开源大语言模型的评测显示,最佳模型识别不安全动作准确率超 90%,但 Gemini-3-pro 以 78.19% 的最高成功率仍难完全解决长序列安全规划难题。该研究揭示了从危险识别到稳健长期规划之间存在显著差距,相关预印本已公开于 arXiv。

  5. arXiv · 机器人与计算机视觉42

    CountVideoBench:评估视频语言模型计数偏差的新基准

    CountVideoBench 引入包含 2600 个合成视频的基准,覆盖 [5, 50] 区间共 26 种基数以消除小数值偏差。该基准在零样本设置下测试了来自九个架构家族的十六个视频语言模型,发现无一模型精确匹配率超过 27.6%。研究揭示模型准确率随基数变化呈现单调下降或非单调峰谷模式,且预测高度集中于特定整数偏好值。

  6. arXiv · 机器人与计算机视觉72

    ABACUS:用于评估图像编辑模型对象类别与计数的新基准

    针对当前图像编辑模型在复杂场景中难以准确控制物体数量且缺乏有效评测的问题,作者提出 ABACUS 基准、评估协议及专用评分指标。该方法摒弃依赖 VLM 的打分方式,转而基于全景地真值对添加、移除和替换操作进行实例级验证,确保计数准确性与场景一致性。实验表明,现有主流编辑模型在数量控制上存在显著缺陷,且随场景复杂度增加而加剧。

  7. arXiv · 机器人与计算机视觉72

    吸引力偏见如何扭曲文生图奖励模型与排行榜

    该研究指出人类对图像质量的判断易受面部吸引力偏见影响:即使对比真实照片,更吸引人的面孔也会被误判为高质量。模拟 Elo 排名显示这种偏见能颠倒榜单顺序,使合成数据超越真实低质量样本;偏好对齐生成也会将人脸推向年轻、女性化特征并覆盖用户提示。论文分析了五款主流人类偏好模型中吸引力作为核心评分因子的现象,并提出了解耦图像质量与认知偏见的缓解策略。

  8. arXiv · 机器人与计算机视觉65

    RoboJudge:作为具身视频生成裁判的多模态大语言模型

    该研究构建了 RoboJudge-Bench 基准,包含来自 8 个语料库的 800 条人工标注视频,覆盖机械臂、人手及灵巧手等场景。实验发现通用多模态大语言模型在物理一致性判断上与人类评分对齐度较低,而专为通用领域设计的视频裁判模型未能稳定迁移至具身场景。

  9. arXiv · 机器人与计算机视觉78

    HATCH:用于可验证操作的硬件认证任务链

    针对机器人操作领域能力宣称难以验证且现有排行榜封闭或可操纵的问题,本文提出 HATCH 基准。该基准是一个公开指定、物理可复现、传感器评分且无法排练的机器人密室系统。任务涵盖五个技能类别的三个难度等级,并通过传感器确认形成长周期评估链。成功由仪器而非人工判断,评分与具体载体无关,物体摆放随机化。提交需包含未剪辑视频、日志和种子文件。相关规范、构建指南及评分标准已开源。

    推荐理由:提出 HATCH 机器人密室基准,通过硬件验证的任务链与传感器评分解决操作能力宣称不可验证问题。

  10. arXiv · 机器人与计算机视觉48

    Embodied Playground:面向物理、战略与空间推理的长周期具身智能基准

    研究团队推出 Embodied Playground,这是一个评估基础模型代理在长周期任务中协调物理、战略及空间推理能力的基准。该基准包含涵盖基础操作、顺序谜题和多阶段家务活动的 410 个环境,并精选出 EP-100 代表集(含 EP-Easy/EP-Hard 难度划分)及 EP-20 紧凑子集。

  11. Hugging Face Daily Papers45

    EvaOmni:首个基于证据的视听推理评测基准

    EvaOmni 是一个包含 392 个视频和 1027 个人工标注问答对的视听推理基准,涵盖检索定位、基础理解与复杂推理三级能力。该基准引入覆盖度评分(C.G.)和瓶颈评分(B.G.),强制模型返回答案及证据区间以评估完整推理链。在测试的 24 个全栈模型中,Gemini3.7-Flash 总体准确率最高达 79.4%,但在三级复杂任务下其瓶颈评分仅为 12.3%。

10月20日周二
  1. arXiv · 机器人与计算机视觉56

    SHOVIR:用于评估放射学报告中视觉捷径学习的基准

    SHOVIR 是一个针对放射学报告生成(RRG)任务的基准,旨在检测视觉语言模型是否过度依赖词汇先验或虚假相关性而非真实病理图像证据。该工作扩展了 MIMIC-CXR 和 PadChest-GR 数据集并引入细粒度标注,通过图像级与疾病级的遮挡实验区分了‘直接捷径’(移除视觉证据后预测仍成立)和‘上下文捷径’(目标区域完好但共病被遮挡导致检测下降)。

  2. arXiv · 机器人与计算机视觉82

    One Fact, Many Places:长文档中的冗余证据破坏单一黄金标准评估

    该研究指出在长视觉文档中,事实常以图表重述或摘要复现等形式多次出现,导致基于单一黄金位置的评估失效。作者标注了 MMLongBench-Doc 和 MMDocRAG 基准中的 420 个问题及其独立证据位置,发现跨模态复制普遍存在且会显著低估检索召回率与引用准确性。研究提供了冗余感知指标与数据,以修正现有评测偏差。

    推荐理由:作者标注了长文档中跨模态冗余证据,揭示单金标准低估召回与引用准确率,并开源相关指标。

  3. arXiv · 机器人与计算机视觉42

    Only Means Only:图像和谐化基准分数平均范围存疑与测试集泄露分析

    现有图像和谐化方法在单一基准上的排名基于包含严重数据泄露的测试集,其中四分之一样本源自训练集且合成身份重复。重新评估显示官方平均分混合了两个不同群体,导致评分虚低约两至五倍,主要差距源于共享合成图而非模型泛化能力。作者发布了一份含 5,581 个无训练身份复合图的独立测试列表,可供无需重训直接复现验证。