arXiv · 机器人与计算机视觉· Jie Chu, Haoting Shi, Fucheng Zhang, Jiawei Liu, Junwei Liao, Ying Wen, Muning Wen·· 12 小时前精选AI 评分85
Pixel is All You Need:纯像素空间生成模型的推理研究
Pixel is All You Need
AI 导读
arXiv 论文《Pixel is All You Need》系统研究了纯像素空间生成模型(无文本 Token)的推理能力。研究发现,现有视觉生成模块在缺乏底层文本模块支持时无法进行符号推理;而从头训练的纯像素模型能直接在画布上阅读问题、书写中间步骤并输出答案,表现出类似大语言模型的标量行为与规模定律。该研究还验证了单画布共享机制使模型具备跨模态推理能力,且强化学习后训练进一步增强了其推理性能。
推荐理由
该研究在纯像素空间训练生成模型,发现其具备类似大语言模型的推理能力与跨模态共享画布特性。
来源:arXiv · 机器人与计算机视觉 · arxiv.org