arXiv · 机器人与计算机视觉· Qing Xu, Xiechen Shen, Xianjian He, Guqiao Liang, Zixiao Chai, Jiale Qin, Yifan Chen, Siyi Li, Tian Yuan, Yiwei Li, Ziheng Meng, Zhen Chen·· 15 天前AI 评分74
SurgEye:一种无需指令微调的手术场景理解感知 - 推理框架
SurgEye: Instruction Tuning-Free Perception-Reasoning Framework for Surgical Scene Understanding
AI 导读
该论文提出了 SurgEye 框架,旨在解决手术计算机辅助干预中的场景理解难题。该方法利用视觉基础模型进行推理,无需依赖大规模问答对进行的指令微调。具体包括路由多任务感知(RMP)模块,通过公共感知标签学习特定任务路径以生成时空证据;以及代理组合推理(ACR)模块,利用冻结的大语言模型协调 RMP 专家与时间记忆工具,将跨任务和时间的证据组合为基于事实的答案。
来源:arXiv · 机器人与计算机视觉 · arxiv.org