Hugging Face Daily Papers·· 2026-10-05精选AI 评分83
基座模型可通过从训练数据获取线索进行推理
Base Models Can Reason By Taking a Cue From Training Data
AI 导读
该研究探讨了训练数据如何在基座模型的响应起始 token 与后续推理行为之间建立关联。实验表明,固定特定的起始 token 线索(如'. Okay'或'Alright,')可使基座模型在数学和代码任务上的表现接近强化学习(RL)微调版本。
推荐理由
原文揭示了训练数据中的特定起始 token 可作为推理触发器,通过因果干预验证了其对数学、代码及模型安全行为的控制作用。
来源:Hugging Face Daily Papers · arxiv.org