跳到正文
10月23日周五
  1. arXiv · 机器人与计算机视觉78

    如何在不遗忘旧能力的前提下为大多模态模型教授新技能

    论文研究如何在向大语言视觉模型(LMMs)教授新技能时避免遗忘先前的通用能力。实验发现,仅更新自注意力投影层或 MLP 门控与上采样层的微调策略,在保持学习能力的同时大幅减少了遗忘现象,性能优于全量微调及多种现有缓解方法。该结论在 LLaVA-OneVision、LLaVA-NeXT 和 Qwen2.5-VL 等多个模型系列上得到验证。代码将公开。

    推荐理由:研究发现仅更新自注意力投影层或 MLP 门控即可在提升新技能学习能力的同时显著抑制遗忘,且无需回放或辅助参数。

  2. arXiv · 机器人与计算机视觉42

    TrajCFG:通过去噪轨迹反馈实现 Token 级无分类器引导的生成模型优化方法

    TrajCFG 是一种无需额外训练、利用历史引导速度方向变化自适应分配 Token 级引导强度的流匹配模型优化方法。该方法结合相邻步与区间归一化长跨度反馈,复用标准 CFG 预测即可在文本转视频等任务中提升 VBench Total 分数 0.30-0.75 分。实验覆盖图像转视频、文本转音频视频及三维重建等多模态生成场景,验证了历史方向反馈作为细粒度引导信号的普适性。

  3. arXiv · 机器人与计算机视觉82

    FluxVLA Engine:面向具身智能的一站式 VLA 工程平台发布

    FluxVLA Engine 是一个开源的配置驱动型工程平台,旨在将异构的具身策略组件转化为可复现的数据至部署工作流。该平台标准化了数据集、视觉语言与世界模型接口,集成了双臂仿真、自动数据生成及人机协同修正功能,并通过实时分块与加速推理后端支持物理执行。代码已公开于 arXiv 链接,解决了阻碍具身学习算法可靠部署的工程瓶颈。

    推荐理由:FluxVLA Engine 提供统一配置驱动平台,整合仿真、数据生成与实时推理接口,解决具身策略从算法到部署的工程碎片化问题。

  4. arXiv · 机器人与计算机视觉5

    DCAL:一种用于个性化文生图的分布校准候选选择方法

    DCAL 提出了一种无需训练的序列选择器,在 DreamBooth 生成的 K=4 个固定候选池中联合评分身份、文本对齐与跨提示新颖度。相比随机选择基线,该方法在 30 个主体中的 22 个提升了 1-LPIPS 等指标;相对仅选身份策略,CLIP-T 从 0.3179 升至 0.3264,多样性提升约 8%,但 CLIP-I 与 DINO-I 略有下降。

  5. arXiv · 机器人与计算机视觉35

    VLMs 视觉信息流动路径研究:直接路径与文本中介机制分析

    该研究利用因果打补丁技术,揭示视觉语言模型(VLMs)通过“直接路径”和“文本中介路径”两种独立方式解决视觉任务。实验表明路径选择依赖具体任务、数据分布及提示词设计,且在常规路径受损时可灵活切换至备用机制。这一发现为理解 VLM 内部视觉信息流动提供了机理层面的统一解释。

  6. arXiv · 机器人与计算机视觉78

    BRIDGE:用于粗粒度掩码局部编辑的背景路由与隔离离散门控

    本文介绍 BRIDGE 方法,通过双路径架构和可学习二值门控,将主体位置嵌入路由至以主体为中心或以背景为锚点的坐标,解决现有掩码编辑器纠缠目标的问题。

    推荐理由:提出双路径架构与离散门控机制,在保持背景的同时提升局部编辑精度。

  7. arXiv · 机器人与计算机视觉20

    EchoXFlow:心脏运动、血流与功能的超声数据集发布

    EchoXFlow 是一个包含 622 名患者共 35,377 条记录的临床超声数据集,保留了原始采集几何与时序关系。数据提供可分离的 1D/2D/3D 模态流及多普勒信号,配合同步 ECG 与密集标注,支持物理驱动的跨模态学习任务。该数据集及其开源工具已公开,旨在作为四维视觉与多模态学习的测试床。

  8. arXiv · 机器人与计算机视觉85

    无人类演示的跨城市自动驾驶策略学习:NOMAD 方法

    论文针对自动驾驶在新城市部署成本高、需大量人类演示数据的瓶颈,提出 NOMAD(No data Map-based self-play for Autonomous Driving)方法。

    推荐理由:提出 NOMAD 方法,利用自博弈强化学习仅凭地图信息实现跨城市策略迁移,无需目标城市的人类演示数据。

  9. arXiv · 机器人与计算机视觉62

    CountZES:基于零样本范例发现与选择的物体计数方法

    该论文提出了 CountZES 框架,旨在仅凭类别名称对未见过的物体进行零样本计数。针对现有范例法在随机采样或检测器提案中面临的边界不清、多实例混淆及候选覆盖不足问题,该方法通过文本锚点分三阶段逐步发现并精炼视觉范例:首先建立可靠的单实例锚点,其次利用密度响应扩展候选范围并选择统计一致的代表,最后通过特征层共识提升代表性。

  10. arXiv · 机器人与计算机视觉68

    Closing the Navigation Compliance Gap in End-to-end Autonomous Driving

    该研究指出轨迹评分规划器在处理路口替代指令时存在超过 30% 的忽略率,归因于现有指标未明确测量导航遵循及数据集缺乏多指令配对。为此提出二值化导航合规指标(NAVI)与可控性度量(CM),并发布包含 14,918 个路口场景及所有可行替代指令的 NavControl 数据集。

  11. arXiv · 机器人与计算机视觉62

    ProCLIP:通过基于 LLM 的嵌入器实现渐进式视觉语言对齐

    针对原 CLIP 文本编码器输入长度受限且不支持多语言的问题,研究提出 ProCLIP 框架以解决将 LLM 嵌入器与 CLIP 图像编码器直接对齐时破坏预训练知识的挑战。该方法先蒸馏 CLIP 文本编码器的知识至 LLM 嵌入器建立初始对齐,再通过图像 - 文本对比调优及自蒸馏正则化进一步对齐,并引入实例语义损失和嵌入结构损失以优化表示继承与调准过程。代码已公开。

  12. arXiv · 机器人与计算机视觉70

    OEL-AD:一种面向跨区域自适应自动驾驶的在线进化学习框架

    针对现有自动驾驶模型在跨区域场景下缺乏适应性的问题,本文提出 OEL-AD 框架,利用规划模块的轨迹不确定性作为触发信号,通过预测行为与后续观测的差异构建自监督学习信号来优化感知和预测模块。在 nuScenes 数据集的新加坡与波士顿跨区域划分上的实验表明,该框架能持续提升感知、预测及规划性能,验证了在线进化学习在构建自适应自动驾驶系统中的潜力。

  13. arXiv · 机器人与计算机视觉58

    MAVOS-DD:首个大规模多语言音视频开放集深度伪造检测基准

    论文提出了 MAVOS-DD 基准,这是首个针对多语言音视频深度伪造检测的大规模开放集评测数据集。该数据包含近 350 小时的真实与伪造视频,覆盖八种语言,其中约 59% 为生成内容。测试设置仅让模型在训练时接触部分生成模型和语言,以构建具有挑战性的开放集评估环境。实验表明,当前最先进的检测器在该基准下无法维持其性能水平。作者公开了数据与代码供非商业用途使用。

  14. arXiv · 机器人与计算机视觉45

    CellTrack-Bench:微观细胞追踪基准评测视觉语言模型

    CellTrack-Bench 新基准评估视觉语言模型在包含 15 个数据集、4 种成像模态及 9041 个细胞连接决策的微观细胞追踪任务表现。研究对比了 9 款闭源前沿模型与 13 款开源权重模型的准确率,并分析了其失效模式。代码、存储输出及再生基准管道已公开提供。

  15. arXiv · 机器人与计算机视觉38

    长文档视觉问答任务导向综述:分类、演进与未来方向

    现有长文档视觉问答(VQA)研究多侧重架构,本文提出任务导向综述将其拆解为解析、证据组织检索、生成器学习与评估四部分。文章梳理了从多模态理解到高保真证据获取的优先级演变,并展望了证据充分性、可验证理解及预算感知协调等未来方向。

  16. arXiv · 机器人与计算机视觉33

    Data-Driven Vision-Language Models for Remote Sensing: A Survey

    这篇综述系统回顾了遥感领域视觉语言模型(VLMs)的发展现状,指出创新路径已从模型中心转向数据中心。文章提供了从数据构建、微调到评估的全流程实践指南,旨在推动学术界建立覆盖广泛任务与地理分布的高质量遥感 VLM 语料库,为通用人工智能奠定基础。

  17. arXiv · 机器人与计算机视觉72

    面向实时息肉分割的轻量级帧补偿方法

    针对辅助结肠镜检查中实时息肉分割面临的高延迟预算难题,本文提出了轻量级帧补偿器(LFC),这是一个 7.7 万参数的即插即用模块。该模块在冻结的分割骨干网络前运行,利用时空注意力机制融合三帧窗口内的连续图像以生成单张补偿帧,且仅使用不同种子模型生成的伪标签进行训练,无需专家标注。

  18. arXiv · 机器人与计算机视觉42

    GLOW-FM:基于单步潜空间流匹配的生成式低光照图像增强模型

    GLOW-FM 提出一种冻结 Tiny-VAE 的单步潜空间流匹配框架,利用终端速度匹配(TVM)实现单次函数评估的高效低光照图像增强。在真实世界基准测试中,该小变体仅需 34 GFLOPs 即可达到具有竞争力的画质与跨数据集泛化能力,优于现有迭代采样方法。代码将在发表时公开。

  19. arXiv · 机器人与计算机视觉55

    RankAlign:通过秩变换实现视觉 - 语言表示对齐

    针对无配对模态间难以恢复类级对应关系的问题,本文提出 RankAlign 这一基于秩的归一化策略。该方法将单模态相似度核转化为序数关系表示再进行排列匹配,在保持匹配求解器不变的同时,对相似度值的严格递增重参数化具有不变性。实验表明,该策略在多种冻结视觉与语言编码器及不同数据集上,均能实现更优且更稳定的类级对应恢复,且在标签污染与域偏移场景下表现稳健。

  20. arXiv · 机器人与计算机视觉36

    WildDepth-v2:首个成像雷达野生动物数据集与度量深度基准

    WildDepth-v2 扩展了同步 RGB-LiDAR 数据集,新增 37 条含每点多普勒速度的成像雷达序列。在 48,723 帧动物画面中,物体级雷达校准将单目深度绝对相对误差从 0.198 降至 0.120;对 431 条轨迹进行的一次性轨道缩放使三维位置误差降低四倍(2.20 米至 0.58 米)。该预印本提供了冻结的隐藏测试集,支持无 LiDAR 推理时的动物距离估计与运动追踪基准评测。

  21. arXiv · 机器人与计算机视觉53

    GraphCAD:面向 CAD 生成的边邻接图几何感知扩散框架

    针对计算机辅助设计(CAD)中离散拓扑连接与精确空间几何的建模难题,本文提出 GraphCAD 框架。该框架基于新颖的边邻接图(EAG)表示,采用混合图扩散公式联合建模离散与连续分量,并引入几何感知去噪机制将节点属性转化为空间点集,利用 SE(3) 等变骨干网络将其融合以锚定物理几何。

  22. arXiv · 机器人与计算机视觉66

    基于动态粒度发现与最优传输的层次化细粒度跨模态对齐

    论文提出了名为 HFCMA 的框架,旨在解决细粒度图像文本检索中全局语义一致性与局部视觉证据建模不足的问题。该框架首先利用动态粒度发现机制将原始 patch 和 token 聚合为自适应视觉区域与文本短语,随后在双编码器架构下将区域 - 短语匹配形式化为熵正则化的最优传输问题以估计结构化对齐矩阵。

  23. arXiv · 机器人与计算机视觉5

    SkinCon 数据集存在肤色依赖的标注偏差,导致概念模型在深色皮肤上漏诊红斑风险显著增加

    审计显示同一疾病下,SkinCon 数据集中深色皮肤的“红斑”标注概率仅为浅色皮肤的 0.17 倍,而色素沉着与减退的标注则分别高出 6.2 和 4.5 倍。基于此偏差训练的概念模型会复现漏诊红斑的模式,且三种标签错误检测器在发现此类遗漏时均不如仅基于疾病的基线模型有效。研究建议必须在每个子群体内审计概念标注,方可信任基于这些标注构建的解释。

  24. arXiv · 机器人与计算机视觉38

    HimmBO:高维交互式模型合并贝叶斯优化用于图像生成

    HimmBO 提出两阶段方法,将偏好驱动的适配器合并扩展至超大规模集合并降低生成成本。其筛选阶段通过预生成图像的等值集估计恢复活跃适配器集,无需额外生成;精炼阶段在低维子空间优化合并系数。实验显示该方法在模拟用户图像匹配任务中相似度更高且所需生成次数不足先前的十分之一,性能随 1080 个适配器集合增长保持稳定。

  25. arXiv · 机器人与计算机视觉53

    Direct Forcing:基于表示空间监督的单阶段少步自回归视频生成方法

    该论文介绍 Direct Forcing 框架,解决现有视频生成模型在因果适应与分布匹配分离的问题。方法利用参考视频作为成对示例和目标群体,通过因果延续对齐和 rollout 分布匹配两个互补信号,结合动态梯度平衡策略,使预训练模型在单阶段内学习少步自回归生成能力。

  26. arXiv · 机器人与计算机视觉45

    CAVC:一种无需训练的模态非对称缓存框架,实现音频视觉扩散生成加速

    CAVC 提出了一种训练免费的模态非对称缓存架构,通过中期缓存可恢复的音频计算并保留视频分支独立细化,将推理加速比提升至 1.10--1.35x。该方法在多个公开基准测试中改善了视觉动态与时间统计指标,同时保持了具有竞争力的音频保真度及视听对齐效果。

  27. arXiv · 机器人与计算机视觉58

    One Evaluation Is Enough:基于轨迹修正的无反演图像编辑

    该论文提出 Endpoint-Calibrated Transport (ECT) 方法,旨在解决真实图像编辑中依赖反演和迭代采样的效率问题。作者利用方差保持(VP)单步模型的对偶性,通过单次时间场评估同时确定局部角语义切向量和清洁端点位移量,结合解析积分与约束投影实现运输优先、修正其次的构建方式。

  28. arXiv · 机器人与计算机视觉85

    LoRA 在预训练模型间的叠加:一种无需路由的跨模型微调方法

    该研究提出将针对同一任务在不同预训练骨干上独立训练的 LoRA 直接求和并应用于所有贡献骨干的方法,称为 LoRA 叠加。实验显示,该方法在七个 ViT-B/16 CLIP 骨干和八个图像分类任务上的全部 56 对组合中均提升性能,平均准确率增益达 30.21 个百分点,仅比单独训练低 0.28 个百分点。

    推荐理由:论文验证了不同预训练骨干上的独立 LoRA 可直接叠加且互不干扰,为跨模型微调提供了无需路由的组件化方法。