跳到正文
arXiv · 机器人与计算机视觉· Nikos Giakoumoglou, Paschalis Giakoumoglou, Tania Stathaki·· 10 天前精选AI 评分83

A Stochastic Latent Variable Generalization of Joint-Embedding Predictive Architectures

A Stochastic Latent Variable Generalization of Joint-Embedding Predictive Architectures

AI 导读

该论文提出了 S-JEPA 模型,将联合嵌入预测架构中的辅助变量 z 从固定确定性 token 扩展为随机潜变量。通过训练时学习后验分布和推理时使用上下文条件先验分布,该方法在无需解码器和重建的情况下实现了掩码图像预测。研究结果表明,引入随机性不仅保持了与确定性 I-JEPA 相当的表征质量,还显著提升了错误相关的预测不确定性和生成结果的多样性,并输出了空间结构化的不确定性图。

推荐理由

提出将辅助变量改为随机潜变量的 S-JEPA,在保持表征质量的同时提升预测不确定性估计与生成多样性。

来源:arXiv · 机器人与计算机视觉 · arxiv.org