跳到正文
arXiv · 机器人与计算机视觉· Jaedong Hwang, Xiaoqian Shen, Ernie Chang, Changsheng Zhao, Chong Zhou, Saksham Suri, Qi Qian, Zechun Liu, Lemeng Wu, Qinsi Wang, Raghuraman Krishnamoorthi, Wei Wen·· 2026-10-09AI 评分74

在原始视频上进行中间阶段训练的预训练语言模型

Mid-Training Language Models on Raw Video

AI 导读

该论文研究了是否可将无字幕的原始网络视频作为预训练语言模型的中间阶段训练数据。研究将帧编码为连续视觉 token 并让模型预测下一个视觉 token,随后对 Qwen3-1.7B 进行图像 - 文本指令微调并与未经历此阶段的模型对比。

来源:arXiv · 机器人与计算机视觉 · arxiv.org