arXiv · 机器人与计算机视觉· Maximilian Seeth, Chengzhi Martin Hu, Marie Kempkes, Paul R\"ottger, Leo Schwinn·· 4 小时前精选AI 评分78
SKILL.PNG:在像素空间学习智能体技能
SKILL.PNG: Learning Agent Skills in Pixel Space
AI 导读
针对现有基于自然语言的技能指令存在离散化导致无法梯度优化、且微调方法难以跨模型迁移的问题,该方法提出利用冻结视觉语言模型的编码器,通过梯度下降直接优化图像像素以生成‘图像技能’。
推荐理由
提出通过优化图像像素替代文本指令,解决技能迁移与连续优化的矛盾。
来源:arXiv · 机器人与计算机视觉 · arxiv.org