arXiv · 机器人与计算机视觉· Zhaowei Wang, Lishu Luo, Haodong Duan, Weiwei Liu, Sijin Wu, Ji Luo, Shen Yan, Shuai Peng, Sihang Yuan, Chaoyi Huang, Yi Lin, Yangqiu Song·· 2026-10-20AI 评分70
基于长上下文持续预训练的 LVLM 有效训练方法研究与 MMProLong 模型发布
Training Long-Context Vision-Language Models Effectively with Generalization Beyond 128K Context
AI 导读
该研究针对现代视觉语言模型(LVLM)的长上下文建模问题,系统探索了长上下文持续预训练(LongPT)策略。研究发现长文档 VQA 比 OCR 转录更有效,且平衡的数据分布优于仅聚焦目标长度的数据。
来源:arXiv · 机器人与计算机视觉 · arxiv.org