arXiv · 机器人与计算机视觉· Shuai Dong, Kanghui Tian, Linghan Chen, Wenqi Shao, Hongrui Wu, Haowen Hou, Yongfu Zhu, Xuehui Wang, Ziyue Wang, Wenpu Liu, Weichu Xie, Yuqi Xu, Congcong Wang, Kaiwen Tuo, Caoyuan Ma, Taiqiang Wu, Ji Zhao, Wenzheng Chang, Dianyi Wang, Siyuan Wang, Zhongyu Wei, Yu Qiao, Jiaqi Wang·· 14 天前AI 评分63
Turns Matter:通过回合级信用分配推进流式视频强化学习
Turns Matter: Advancing Streaming Video RL via Turn-Level Credit
AI 导读
该论文提出了 TurnWise 框架,旨在改进流式视频理解中的强化学习策略。针对现有方法在轨迹层面共享奖励导致早期成功或失败影响后续回合的问题,该方法利用沉默补全前缀评分构建组相对优势,并将回合内的 token 损失平均化,从而平衡响应与等待决策的权重。实验表明,无需学习评论家模型或额外 rollout,该方法能显著提升流式策略的学习效果并减少冗余回复。
来源:arXiv · 机器人与计算机视觉 · arxiv.org