跳到正文
arXiv · 机器人与计算机视觉· Haruto Yoshida, Keito Kudo, Yoichi Aoki, Ryota Tanaka, Itsumi Saito, Keisuke Sakaguchi, Kentaro Inui·· 10 天前AI 评分68

信号存在但预测失败:探究大视觉语言模型中的图表表示

Signals Are Present, Predictions Fail: Probing Diagram Representations in Large Vision-Language Models

AI 导读

该论文针对大视觉语言模型在理解图中节点间关系(特别是边)时表现不佳的问题,利用合成数据集进行线性探测实验,发现关于节点和边的信息虽存在于隐藏状态中且可解码,但与最终输出存在差距。研究进一步通过因果干预证实部分内部信号确实影响预测结果,且该结论同样适用于流程图等真实图表场景。

来源:arXiv · 机器人与计算机视觉 · arxiv.org