arXiv · 机器人与计算机视觉· Xinyu Zhang, Zurong Mai, Qingmei Li, Xiaoya Fan, Zjin Liao, Haoyuan Liang, Yibin Wen, Yuhang Chen, Chan Tsz Ho, Bi Tianyuan, Ruifeng Su, Zihao Qiang, Juepeng Zheng, Jianxi Huang, Yutong Lu, Haohuan Fu·· 9 天前AI 评分52
超越 RGB:通过免训练推理框架评估并增强多模态大模型的超光谱图像理解能力
Beyond RGB: Benchmarking and Enhancing MLLMs for Hyperspectral Image Understanding via Training-Free Reasoning Framework
AI 导读
该论文针对现有 MLLM 难以直接处理高维超光谱数据的局限,提出了 VSR^2 免训练视觉 - 光谱 - 报告推理框架。该框架将每个样本转化为 RGB 语义视图、PCA 主导光谱变视图及结构化定量证据报告。在 HM-Bench 基准(含 19,337 问答对)上测试显示,引入超光谱信息使平均准确率从 38.90% 提升至 40.95%,表明超光谱数据对当前 MLLM 有效但鲁棒推理仍是挑战。
来源:arXiv · 机器人与计算机视觉 · arxiv.org