arXiv · 机器人与计算机视觉· Zuhao Yang, Kaichen Zhang, Sudong Wang, Keming Wu, Zhongyu Yang, Bo Li, Xiaojuan Qi, Shijian Lu, Xingxuan Li, Lidong Bing·· 14 天前AI 评分59
ParaVT:通过并行视频工具调用驯服智能体强化学习中的工具先验悖论
ParaVT: Taming the Tool Prior Paradox for Parallel Tool Use in Agentic Video Reinforcement Learning
AI 导读
针对大语言模型原生调用视频处理工具进行长视频理解的挑战,该研究提出 ParaVT 框架,支持单次轮次内并发多个时间窗口裁剪以并行考察证据。研究发现标准强化学习易陷入格式不稳定或跳过工具的困境,为此提出 PARA-GRPO 算法,通过格式奖励与概览帧预算随机化机制平衡探索与稳定性。实验显示该方法在六个长视频理解基准上平均提升 7.9%,并将训练时的格式奖励从 0.13 提升至峰值 0.64。
来源:arXiv · 机器人与计算机视觉 · arxiv.org