arXiv · 机器人与计算机视觉· Mario Markov (INSAIT, Sofia University "St. Kliment Ohridski"), Stefan Maria Ailuro (INSAIT, Sofia University "St. Kliment Ohridski"), Mohammad Mahdi (INSAIT, Sofia University "St. Kliment Ohridski"), Luc Van Gool (INSAIT, Sofia University "St. Kliment Ohridski"), Danda Pani Paudel (INSAIT, Sofia University "St. Kliment Ohridski")·· 14 小时前AI 评分72
GRTO:用于指代分割的引导式群相对工具优化
GRTO: Bootstrapped Group Relative Tool Optimization for Referring Segmentation
AI 导读
针对指代分割任务中仅优化视觉语言模型而忽略分割工具的局限,本文提出 GRTO 框架,联合优化推理策略与可微分分割工具。该方法先在理论上对齐工具以生成鲁棒奖励信号,再扩展 GRPO 进行联合微调。实验显示,GRTO 在三个具有挑战性的基准测试上显著优于仅优化 VLM 的方法及替代方案,证明了统一强化学习与可微分辅助目标对高推理需求分割任务的价值。
来源:arXiv · 机器人与计算机视觉 · arxiv.org