跳到正文
arXiv · 机器人与计算机视觉· Ra\'ul Boix-Aldeguer, Manuel Benavent-Lledo, David Ortiz-Perez, Jose Garcia-Rodriguez·· 13 天前AI 评分48

Egocentric Action Recognition with Objects and Vision-Language Affordances 提出融合冻结 SlowFast 视频专家与基于物体功能(affordances)的注意力机制方法,在 MECCANO 数据集上将 Top-1 准确率从基线提升至 49.9%,代码将在论文接收后开源。

Egocentric Action Recognition with Objects and Vision-Language Affordances

AI 导读

该方法结合冻结 SlowFast 视频专家与生成零样本物体功能的注意力机制,利用视觉语言模型生成的交互功能过滤非活跃检测,将 MECCANO 数据集上 Top-1 准确率从 44.9% 提升至 49.9%,优于 SlowFast 及物体感知 RGB 基线。研究在标注框与官方检测器两种条件下评估性能,其中约半数精度损失源于非活跃物体检测干扰。代码将在论文被 IEEE FG 2027 接收后发布。

来源:arXiv · 机器人与计算机视觉 · arxiv.org