SAGES 关键安全视角挑战:AI 辅助手术质量评估的全球基准
arXiv 发布了一项关于 SAGES Critical View of Safety (CVS) Challenge 的研究论文,这是首个由外科协会组织的 AI 竞赛,旨在通过腹腔镜胆囊切除术中的 CVS 步骤建立手术质量评估标准。
推荐理由:该工作发布了首个由外科协会组织的 AI 手术质量评估基准,提供了包含千小时视频的多标注数据集及 EndoGlacier 管理框架。
技术方向
三维重建、空间表示、视觉定位和可交互环境中的感知与推理。
760 条精选近 30 天 559 条共收录 4,114 条
arXiv 发布了一项关于 SAGES Critical View of Safety (CVS) Challenge 的研究论文,这是首个由外科协会组织的 AI 竞赛,旨在通过腹腔镜胆囊切除术中的 CVS 步骤建立手术质量评估标准。
推荐理由:该工作发布了首个由外科协会组织的 AI 手术质量评估基准,提供了包含千小时视频的多标注数据集及 EndoGlacier 管理框架。
AstroMemBench 是一个针对具身航天体记忆系统的基准测试工具,涵盖行星表面操作、在轨服务及深空探索等九项任务。该基准包含 16 个子挑战、140 个模板和 2240 个实例,通过确定性环境对任务完成度、状态变化、安全性和资源使用进行评分。
推荐理由:该基准通过确定性环境量化了具身航天体在通信延迟与资源受限下的记忆系统性能,为长周期自主任务提供了可复用的评估框架。
该研究审计了 MedGemma-4B、Lingshu-7B、HuatuoGPT-Vision-7B、Qwen2.5-VL-7B 和 MedVLM-R1 等五款开源医疗 VLM,在包含 6,048 个问题的 ChestX-ray14 数据集上发现,尽管模型能流利描述气胸体征,但在 432 张阳性 X 光片中零检出或仅部分检出。
推荐理由:审计显示五款医疗 VLM 在气胸检测上存在严重诊断特异性失效,内部表征正常但输出被抑制,仅靠聚合准确率无法评估真实能力。
本报告总结了与 ECCV 2026 联合举办的第 8 届大规模视频目标分割(LSVOS)挑战赛中,关于移动统一多模态理解(MUMU)轨道的评测结果。该任务要求单一模型在 0.5B 参数和 8 GB 推理显存预算下,同时完成质量/场景/事件词汇的多概念图像标签、开放词汇目标检测和简洁图像描述。
推荐理由:报告总结了 ECCV 2026 LSVOS 挑战赛中 MUMU 轨道的评测结果,展示了在 0.5B 参数预算下基于 Florence-2-base 的统一多模态理解方案。
该预印本提出 Kosmo-GFM,这是一个集成了几何基础模型、位姿优化引擎及来自 KosmoWorld 的重建监督的场景重建系统。GFM 可从图像和视频预测相机参数、深度、跨视图对应关系及动态 3D 点;PoseEngine 结合这些预测与几何优化恢复场景级位姿和几何结构,用于下游 3D 和 4D Gaussian Splatting。
推荐理由:该预印本提出 Kosmo-GFM 系统,在 SpatialBench 上实现最低深度误差与最高位姿 AUC,PoseEngine 运行时间约为 GLUEMAP 的 20%,支持将学习到的几何先验集成到重建流程中。
针对激光雷达在雾天因强背向散射和信号衰减导致弱目标回波丢失的问题,该工作发布了 Fog-FWL 数据集基础。
推荐理由:该工作发布了首个大规模全波形激光雷达雾天数据集,填补了从波形数据恢复被雾遮挡物体的研究空白。
针对将通用视觉语言模型(VLM)适配自动驾驶需大量空间先验或架构重构的难题,本文提出非侵入式的三元组增量训练框架。该方法利用自动构建的图像、深度和问答三元组,通过统一三流训练管线注入 3D 几何感知:主 VLM 流适应驾驶任务,辅助深度流引导视觉骨干网想象场景几何,冻结的双生 VLM 流防止语义漂移。
推荐理由:提出非侵入式三元组增量训练框架,在保留通用 VLM 能力的同时通过辅助深度流注入几何感知,部署时无推理开销。
PhysCapBench 是首个统一涵盖第三人称场景、第一人称操作及手持夹爪演示的物理标注基准,包含 1,500 条经人工验证的视频序列并覆盖七个物理维度。该基准显示,相比仅含元数据的描述,富含物理信息的视频语言监督可将视频重建的 LPIPS 误差降低 8.6% 至 30.9%,并在 pi0.5 策略微调任务中带来 7.5 个百分点的成功率提升。
推荐理由:PhysCapBench 作为首个跨域物理标注基准,通过量化语言监督中的物理信息缺失,为视频重建与策略微调提供了可检验的评估标准。
论文介绍 VI AMO 数据集,包含来自 11 个机器人源的 6,600 集视频及动作与任务标注。研究提出 VIM 模型,在未见测试数据上对原子动作和任务的预测相似度分别达到 0.825 和 0.821,且在标签缺失情况下仍保持较高性能。
推荐理由:该工作提出 VI AMO 数据集与 VIM 模型,能从视觉历史解码人类意图,使 VLA 策略在未见环境中接管任务并显著降低遥操作时间。
论文介绍 Hand in Silhouette (SilHand) 框架,利用低成本获取的二值手部掩码替代 RGB 特征进行 3D 重建,以缩小合成数据与真实数据的观察差距。该方法在包含 4.68 万个抓取姿态和 6 万个自由手势的大规模合成数据集上训练,并在五个现实基准测试中将相对重建精度从 49.2% 提升至 63.4%,且对掩码噪声具有鲁棒性。
推荐理由:该工作提出基于二值掩码的仿真到现实手重建框架,通过掩码射线证据融合缩小外观差距,在五个基准测试中相对精度提升显著。
该论文概述了 Hibikino-Musashi@Home 2026 团队在 RoboCup@Home 2026 比赛中开发的集成技术。
推荐理由:原文概述了 RoboCup@Home 2026 团队的集成技术方案,涵盖无训练目标识别、语义建图及低功耗时序处理模型。
针对非道路环境多相机观测可靠性差异大的问题,提出 QVS-LIVO RiskMap 系统,将状态估计中的视觉处理与语义建图解耦。前端基于共享激光雷达 - 惯性后验进行只读预跟踪以评估观测健康度与几何互补性,利用通道健康记忆和切换迟滞选择至多一个视图进行光度校正;后端在共享世界网格中融合所有可用视图的语义观测。
推荐理由:提出 QVS-LIVO RiskMap,通过解耦视觉处理实现多相机状态估计与语义建图,在越野环境下提升鲁棒性与实时性。
该论文提出 DuoJEPA 框架,通过在每个模态编码器后附加变换层实现跨模态翻译,而无需直接比较两个嵌入空间的损失函数。实验表明,在 CheXpert Plus 数据集上该方法实现了 86.6 的零样本 AUC 和 78.5 的检索分数;在 Sentinel-2 与 Sentinel-1 遥感影像对上,冻结编码器下的跨模态检索成功率介于 77% 至 79%。
推荐理由:提出无需直接对齐嵌入空间的跨模态翻译架构,在医学影像与遥感数据上验证了零样本检索性能。
针对现有视觉语言动作模型在杂乱环境中依赖隐式推断几何关系导致碰撞的问题,本文提出 MOSAIC 框架,通过辅助语义定位任务预测目标、目的地及障碍物的角色掩码,并结合三维重建深度构建几何 token 注入动作专家。
推荐理由:该框架通过引入几何与障碍物感知模块,在杂乱场景中将 VLA 模型的成功率提升 5.1%,相关代码与数据集将在接受后开源。
针对现有流式视频理解基准无法区分模型因遗忘导致的错误与视觉理解失败或语言先验干扰的问题,作者提出 MemInStream 基准。该基准通过证据控制验证协议,将问题关联到时间局部化证据区间,并保留那些仅凭近期观察、文本输入或事后观察无法解决但需历史证据才能回答的问题,从而解耦记忆限制与理解缺陷。
推荐理由:提出证据控制验证协议,解耦记忆能力与理解失败,为流式视频理解提供可靠评估基准。
针对桌面卡牌游戏中物体识别成本高、标注难的问题,作者开发了一套全自动的合成数据采集管线。该方法利用已知三维坐标的重投影自动生成标签,并结合域随机化技术以弥合仿真与现实的差距。
推荐理由:提出利用重投影与域随机化构建合成数据管线,在真实机器人上实现卡牌游戏状态检测的高精度感知。
Yuqiao Feng 和 Xiaoyu Ao 在 arXiv 上发布研究论文,指出当前广泛使用的控制指标仅检查相机是否跟随指令,而忽略了场景响应不足的问题。作者发现现有模型生成的场景变化最多仅为真实视频的三分之一,且无法区分执行与忽略的速度指令。
推荐理由:作者指出主流驱动世界模型仅移动相机而未同步场景,提出无需训练的 ReTime-Compose 方法以几何方式注入计划。
该论文针对个性化图像分割(PIS)在多图实例场景下的召回瓶颈问题,提出一种无需训练的模块化系统。该方法利用通用检测器生成高召回目标提案,结合基础模型特征进行匹配,并用 SAM 细化边界;同时提出了基于 Top-K Sinkhorn 的鲁棒距离度量方法。研究引入了新的多实例基准数据集,实验表明该系统在多个标准数据集上优于现有方法,且运行时更低、参数量更少,为真实世界应用提供了可部署的基线。
推荐理由:针对现有个性化分割方法在多图实例场景下失效的问题,提出无需训练的模块化框架与多实例基准。
预训练视频世界模型常依据未来预测分数进行选型,但该分数混合了编码器质量、近期相似性及预测器贡献。研究通过匹配对照组在 2.7 万家庭第一人称视频试验中分离三者,发现 V-JEPA 系列内部预测器贡献差异显著,且仅对动作条件化模型为负值。建议报告未来预测分数与其持久性基线的差距以增强可解释性,下游效用需另行评估。
推荐理由:提出用匹配对照组分离预测分数与编码器效应,建议报告差距而非原始分数以评估世界模型真实性能。
针对现有代理式视频推理框架评估标准不一、计算成本高且效果提升有限的问题,该研究提出了 SAVE(Simple Agentic Video Explorer)基线及扩展方法。
推荐理由:该研究通过受控评估发现,在长视频场景下,简单的主动探索框架比复杂代理更有效且成本更低。