跳到正文
arXiv · 机器人与计算机视觉· Maximilian Seeth, Chengzhi Martin Hu, Marie Kempkes, Paul R\"ottger, Leo Schwinn·· 4 小时前精选AI 评分78

SKILL.PNG:在像素空间学习智能体技能

SKILL.PNG: Learning Agent Skills in Pixel Space

AI 导读

针对现有基于自然语言的技能指令存在离散化导致无法梯度优化、且微调方法难以跨模型迁移的问题,该方法提出利用冻结视觉语言模型的编码器,通过梯度下降直接优化图像像素以生成‘图像技能’。

推荐理由

提出通过优化图像像素替代文本指令,解决技能迁移与连续优化的矛盾。

来源:arXiv · 机器人与计算机视觉 · arxiv.org