跳到正文
arXiv · 机器人与计算机视觉· Shiyang Zhang, Miao Yang, Zhengda Li, Yang Shao, Ruifang Zhai, Hui Peng, Peng Song·· 27 天前AI 评分72

SmolVLA-MoE:用于高效多任务机器人操作的稀疏混合专家模型

SmolVLA-MoE: Sparse Mixture-of-Experts for Efficient Multi-Task Robotic Manipulation

AI 导读

针对现有轻量级 VLA 模型在受限算力下多任务能力不足的问题,该研究提出 SmolVLA-MoE 框架,将稀疏混合专家结构引入动作专家的 FFN 层。通过共享专家与可调节权重平衡预训练能力继承与任务特异性专长,推理时仅激活单个专家 FFN(总激活参数约 500M),同时存储约 800M 参数。

来源:arXiv · 机器人与计算机视觉 · arxiv.org