arXiv · 机器人与计算机视觉· Yuzhou Hong·· 29 天前AI 评分43
Predictive Latents for Autoregressive Language Models 理论分析:可能性、量规与阻碍
Predictive Latents for Autoregressive Language Models: Possibility, Gauge, and Obstruction
AI 导读
该论文分离了自回归语言模型中潜在过程的三种风险,指出在满足秩条件等特定数学约束下,线性潜变量可匹配贝叶斯 token 预测器。研究揭示恒定潜变量虽能使一步映射误差归零,但开放回路下的空空间行走仍会导致误差随时间线性增长。理论证明小步长损失无法直接认证自由潜变量展开,除非明确陈述秩或单射性条件。
来源:arXiv · 机器人与计算机视觉 · arxiv.org