跳到正文
arXiv · 机器人与计算机视觉· Hai Zhang, Siqi Liang, Li Chen, Yuxian Li, Yukuan Xu, Yichao Zhong, Fu Zhang, Hongyang Li·· 2 天前AI 评分70

稀疏视频生成推动现实世界的越视域视觉语言导航

Sparse Video Generation Propels Real-World Beyond-the-View Vision-Language Navigation

AI 导读

针对现有大语言模型在越视域导航任务中短视行为的挑战,该方法首次引入视频生成模型以利用长视界监督优势。通过提出 SparseVideoNav 技术,将原本需数十秒的视频生成长度压缩为亚秒级轨迹推断,同时保持 20 秒的未来视界跨度。实验表明,该方法在越视域导航任务上的成功率是现有大语言模型基线的 2.5 倍,并首次实现了夜间复杂场景下的有效导航能力。

来源:arXiv · 机器人与计算机视觉 · arxiv.org