跳到正文
arXiv · 机器人与计算机视觉· Lars Osterberg, Maggie Wang, Mac Schwager·· 27 天前精选AI 评分82

UniMem:为 VLA 统一视觉与文本记忆以应对非马尔可夫任务

UniMem: Unifying Visual and Textual Memory in VLAs for Non-Markovian Tasks

AI 导读

针对现有 VLA 模型在处理需记忆的长程任务时面临的瓶颈,本文提出 UniMem 框架,在单一骨干网络下统一高层视觉/文本记忆与低层控制。该方法利用事件分类器触发更新、关键帧编码器构建密集记忆并采用缓存技术降低开销。

推荐理由

UniMem 框架统一视觉与文本记忆,在仿真和硬件任务中显著优于固定间隔采样及分层 VLM-VLA 基线。

来源:arXiv · 机器人与计算机视觉 · arxiv.org