Hugging Face Daily Papers·· 29 天前精选AI 评分82
ALPS:用于世界模型的视觉状态编码器
ALPS: Visual State Encoders for World Models
AI 导读
ALPS 是一种预训练的视觉状态编码器,旨在将物理状态信息、原生语言对齐和像素重建能力统一于单一的 patch token 表示中。研究团队仅使用静态图像和文本数据,从 scratch 预训练了 ViT-B/16 模型,并通过跨视图自蒸馏进行优化。
推荐理由
该预训练视觉状态编码器统一了物理状态、语言对齐与像素重建,在多项基准上实现最优聚合误差并支持下游策略规划。
来源:Hugging Face Daily Papers · arxiv.org