跳到正文
arXiv · 机器人与计算机视觉· Jungseob Lee, Chanjun Park, Sugyeong Eo, Hyeonseok Moon·· 2026-10-06精选AI 评分82

Recovering Off-Policy Supervision for Speculative Decoding

Recovering Off-Policy Supervision for Speculative Decoding

AI 导读

arXiv 论文《Recovering Off-Policy Supervision for Speculative Decoding》由 Jungseob Lee 等人提交,针对推测解码中离策略 token 导致后续槽位监督失效的问题,提出基于回滚的训练框架。

推荐理由

针对推测解码中离策略监督失效问题,提出基于回滚的训练框架以恢复全量监督。

来源:arXiv · 机器人与计算机视觉 · arxiv.org