细粒度信用分配何时助益与何时有害:基于视频编辑的多模态代理强化学习研究
该论文通过构建四种电影预告片编辑任务(内容选择、叙事排序、粗剪和精剪),探究了多模态代理在长视界规划中的强化学习效果。研究发现,衰减的过程奖励在平均超过 60 步的精剪任务中相比仅结果奖励提升了 45.4%,但在较短任务中收益有限;固定权重的过程奖励会导致过度推理和工具调用冗余,而将其衰减至零可缓解此问题。此外,基于策略的自蒸馏(OPSD)效果不稳定且对特权信息敏感。
推荐理由:原文分析了细粒度信用分配在多模体强化学习中的利弊,发现过程奖励在长任务中有效但在短任务中收益有限且易导致过度推理。