跳到正文
arXiv · 机器人与计算机视觉· Gayatri Deshmukh, Onkar Susladkar, Adheesh Juvekar, Halil Kilicoglu, Ismini Lourentzou·· 14 天前AI 评分59

从 Token 到轨迹:统一多模态模型的参数高效连续适应方法

From Tokens to Trajectories: Parameter-Efficient Continuous Adaptation of Unified Multimodal Models

AI 导读

该论文介绍了一种名为 FlowShift 的参数高效后训练框架,旨在解决统一多模态模型(UMMs)中离散分词导致的视觉细节损失问题。该方法通过将预训练的离散 UMM 转化为连续校正流生成器,并引入双重目标速度向量蒸馏(DOVD)技术对齐高保真教师模型与真实轨迹,从而在大幅提升感知质量的同时保留提示遵循度和推理能力。

来源:arXiv · 机器人与计算机视觉 · arxiv.org