跳到正文
arXiv · 机器人与计算机视觉· Haolin Yang, Wenshan Wu, Jin Jiang, Yu Cheng, Yan Xia, Ting Song, Yangyu Huang, Zhiliang Peng, Wenhui Wang, Hangbo Bao, Yuzhe Zhang, Wen-Da Wei, Tengchao Lv, Li Dong, Lei Cui, Furu Wei·· 3 天前精选AI 评分78

Vision-as-a-Tool:一种将视觉作为工具的视觉 harness 框架

Vision-as-a-Tool: Visual Harness for Multimodal Agentic Coding

AI 导读

该论文提出了 Vision-as-a-Tool (VaaT) 范式,通过 VHarness 框架将通用多模态大模型重构为可被调用的外部工具,使纯文本智能体在代理执行中完全卸载视觉推理任务。研究在图像转 HTML、SVG 及 3D 生成等任务上进行了评估,结果显示该架构显著提升了视觉保真度和几何准确性,证明了模块化视觉推理作为未来代理编码系统基础的有效性。

推荐理由

提出将通用多模态大模型作为外部工具调用,使纯文本智能体具备视觉推理能力并提升生成质量。

来源:arXiv · 机器人与计算机视觉 · arxiv.org