arXiv · 机器人与计算机视觉· Haoquan Zhang, Feiyang Liu, Juanxi Tian, Wanhua Li, Haodong Duan, Weiyang Liu·· 16 天前精选AI 评分78
PixelBench:LLM 能否逐像素理解并生成图像?
PixelBench: Can LLMs Understand and Generate Images Pixel by Pixel?
AI 导读
该研究报告了 PixelBench 基准,评估大语言模型在无专用图像解码器的情况下直接通过词汇表生成 RGB 像素的能力。研究发现强模型在文本到像素任务中能直接生成可识别图像,且像素理解能力与生成性能高度相关。作者还提出了像素重建微调(PRT)方法,通过混合指令数据提升模型在视觉基准上的表现,表明显式像素重建可作为有效的辅助监督信号。
推荐理由
该报告提出 PixelBench 基准与 PRT 微调方法,证明大模型无需专用解码器即可直接生成像素图像。
来源:arXiv · 机器人与计算机视觉 · arxiv.org