跳到正文
arXiv · 机器人与计算机视觉· Fengxin Li·· 23 天前精选AI 评分85

Iris:一种支持图像、文本或混合候选人的视觉决策框架

Seeing the Options: What Should a Visual Candidate See?

AI 导读

该论文提出 Iris 框架,解决多模态设置下模型处理离散视觉候选人的问题。研究证明在 Iris 架构下可实现严格的顺序不变性和精确缓存复用,并在 MetaEncoder 基准上超越更大参数量的基线。此外,通过重构 Qwen3.5 的 patch-embedding 卷积层为矩阵乘积形式,将 Ampere GPU 上的处理速度提升了 350 倍。代码、数据和检查点已开源。

推荐理由

Iris 框架在保持候选顺序不变性的同时实现缓存复用,显著降低多模态决策延迟,并解决了 Ampere GPU 上的系统瓶颈。

来源:arXiv · 机器人与计算机视觉 · arxiv.org