跳到正文
arXiv · 机器人与计算机视觉· Songtao Hu, Hang Su·· 2 天前精选AI 评分78

面向内窥镜手术视频理解的特征空间潜在预测方法

Feature-Space Latent Forecasting for Endoscopic Surgical Video Understanding

AI 导读

Songtao Hu 等人提出一种特征空间语义预测框架,旨在解决现有手术辅助系统过度关注外观保真而忽视下游推理需求的问题。该方法直接在冻结的视觉基础模型(VFM)表示中建模时序动态,通过构建分层目标表示并用可学习掩码替换未来帧特征,训练掩码 Transformer 从观测上下文预测潜在特征。

推荐理由

提出在冻结视觉基础模型特征空间进行语义预测的框架,相比像素级合成在手术流程预判与工具识别上表现更优。

来源:arXiv · 机器人与计算机视觉 · arxiv.org