arXiv · 机器人与计算机视觉· Paul S. Scotti, Mihir Tripathy, Cesar Kadir Torrico Villanueva, Reese Kneeland, Tong Chen, Ashutosh Narang, Charan Santhirasegaran, Jonathan Xu, Thomas Naselaris, Kenneth A. Norman, Tanishq Mathew Abraham·· 16 天前AI 评分68
MindEye2:共享主体模型实现仅需一小时数据的脑活动到图像重建
MindEye2: Shared-Subject Models Enable fMRI-To-Image With 1 Hour of Data
AI 导读
MindEye2 通过预训练跨多个受试者并微调新受试者的少量数据,实现了仅需一小时 fMRI 训练数据的高质量视觉感知重建。该方法利用功能对齐将脑数据映射至共享潜在空间,并结合 Stable Diffusion XL 实现从 CLIP 空间到像素空间的转换,在图像检索与重建指标上优于单受试者方法。代码已开源。
来源:arXiv · 机器人与计算机视觉 · arxiv.org