跳到正文
11月14日周六
11月13日周五
  1. arXiv · 机器人与计算机视觉72

    WISE:面向 VLA 模型高效后训练的世界模型引导式想象调度

    WISE 是一种统一框架,用于协调视觉语言动作(VLA)模型在后训练阶段何时以及如何利用世界模型的想象能力。该方法仅在交互相关状态调用想象,执行有界的多视角展开,并利用进度与完成信号评估候选未来,从而在减少约 80% GPU 计算时间的同时,在多种操作任务中提升性能并增强真实分布偏移下的鲁棒性与泛化性。材料为 arXiv 预印本,未提及同行评审状态或具体开源代码仓库。

  2. arXiv · 机器人与计算机视觉58

    CamChoreo:首个时空 grounded 组合式相机运动理解基准与蒸馏方法

    本文介绍 CamChoreo,这是首个针对时空 grounded、组合式相机运动理解的基准,包含 4,229 个带有专家时间标注的多样化单镜头片段。研究提出 CamDistill 方法,将冻结 3D 基础模型的几何知识蒸馏为轻量级相机 token,在无需推理时运行昂贵 3D 模型的情况下,显著提升了视觉语言模型的性能。

  3. arXiv · 机器人与计算机视觉74

    TEMPO:面向视觉语言动作模型的语义 - 动作解耦强化学习后训练

    论文提出 TEMPO 框架,通过冻结预训练的视觉语言骨干网络,利用两个专用强化学习回路分别更新产生潜在动作条件的语义投影层和低级动作专家。该方法限制潜在动作漂移并允许动作专家从在线反馈中学习。实验在 CALVIN 基准和真实世界操作任务上验证了 TEMPO 优于预训练最先进模型及强化学习后训练基线,且在三个真实任务中达到并保持更高的评估奖励。

  4. arXiv · 机器人与计算机视觉63

    SimpleSearch-VL:一种高效可靠的多模态智能体深度搜索配方

    该研究提出 SimpleSearch-VL 框架,旨在提升多模态智能体的搜索与验证过程效率及可靠性,而非依赖扩展数据或工具。其核心改进包括利用因子化自适应展开(FAR)优化采样效率以缓解长尾延迟,以及通过思维链进行证据验证推理以确保检索内容与上下文的相关性。

  5. arXiv · 机器人与计算机视觉28

    Appear2Meaning:跨文化结构化元数据推理基准

    Appear2Meaning 是一个针对图像恢复文物标题、文化、时期等五类元数据的跨文化基准,涵盖 750 件博物馆藏品。在九款视觉语言模型测试中,字段级平均准确率为 36.16%–49.82%,仅含图像输入使文化、时期和原产地的参考兼容性比对照提升 12.6–32.2 个百分点。该基准通过区分字段级与完整记录兼容性并引入人工验证,旨在解决从图像恢复人类归因的技术挑战。

  6. arXiv · 机器人与计算机视觉75

    NS-VLA:迈向神经符号视觉语言动作模型

    针对长视野任务中现有视觉语言动作模型存在的结构盲视、泛化受限及优化扁平等问题,本文提出一种新型神经符号 VLA 框架。该框架引入神经符号编码器将指令解析为受门控单调阶段指针跟踪的原始计划,利用神经符号求解器基于活跃子指令条件化块状 VLA 策略,并通过分层联合策略优化在演示片段上拟合指针并利用成功过滤的在线学习细化动作策略。

  7. arXiv · 机器人与计算机视觉82

    AnyCamVLA:一种无需微调即可实现视点鲁棒的视觉语言动作模型相机自适应方法

    针对视觉语言动作模型(VLAs)在特定环境部署需微调且对相机视角变化敏感的问题,本文提出 AnyCamVLA 零样本相机自适应框架。该方法利用前馈新视图合成模型,在测试时将实时观测的图像虚拟调整为与训练配置匹配的目标视角,无需额外演示数据、策略微调或架构修改。

    推荐理由:提出无需微调的零样本相机自适应框架,通过实时合成目标视角图像提升 VLA 在真实场景中的鲁棒性。

  8. arXiv · 机器人与计算机视觉68

    面向准确无人机图像感知的研究:利用更强任务提示引导视觉语言模型

    针对无人机图像感知中目标密集、背景杂乱且简短提示指导不足的问题,本文提出无需微调的代理框架 AerialVP。该方法通过基于大模型的 Task Engine 动态分析原提示特异性,选择性融合图像语义、空间位置及物体关系等线索以增强提示,从而利用视觉语言模型预训练的对齐与推理能力降低目标歧义。

  9. arXiv · 机器人与计算机视觉71

    Imitating the Imperfect:基于潜在专家性与最优性评分的异构演示者模仿学习

    针对现有模仿学习方法假设演示者同质或接近最优的不现实问题,本文提出 LEOS-IL 框架,从未标记的低质量离线演示中联合学习状态动作最优性评分模型与各演示者的潜在专家水平。该方法将评分模型集成至在线策略优化流程,利用在线 rollout 迭代 refine 评分模型以缓解分布偏移,并在连续控制基准上展示了在高度异构和低质量演示数据下的优越性能。

  10. arXiv · 机器人与计算机视觉48

    AROMA:面向视觉语言模型的自适应表征导向多模态控制框架

    AROMA 是一种冻结 VLM 的控制框架,通过分离干预位置、几何增益及目标选择等维度解决因果敏感性与激活能量不匹配问题。在 Llama-3.2-11B-Vision-Instruct 上,该方法将未触碰过程数据的精确计数准确率提升 8.00 个百分点,迭代最小努力动作(MEA)达成率从冻结策略的 34.444% 提升至 38.730%。

  11. arXiv · 机器人与计算机视觉73

    ProtoVis-Nav:基于原型的视觉想象用于视觉 - 空间对齐的无人机导航

    针对无人机视觉语言导航(VLN)中因三维运动预测误差导致碰撞的挑战,作者提出 ProtoVis-Nav 框架。该方法迫使模型为预期的下一个动作想象与结果关联的局部视觉表征,通过预测特征原型及其线性组合来估计目标区域的视觉特征,从而促进视觉上下文与航点输出的对齐。实验表明该框架在现有基线上取得了显著改进。

  12. arXiv · 机器人与计算机视觉85

    UAV-Flow++:统一的语言引导无人机飞行评测与学习套件

    针对语言引导无人机导航长期侧重长程规划而忽视短距物体相对飞行的空白,该工作提出 Flying-on-a-Word 任务及 UAV-Flow 数据集,包含 30,692 条真实专家轨迹和 10,109 条仿真轨迹。团队开发 FlowVLA 模型,利用 Tail-Aware GRPO 方法进行在线后训练,在仿真基准上平均成功率达 93.16%,并在室内外实物场景中验证了物体相对指令的稳健执行能力。

    推荐理由:该工作提出语言引导无人机飞行新基准与框架,通过混合真实与仿真数据训练 VLA 模型,在仿真中成功率提升至 93.16% 并验证了实物执行能力。

  13. arXiv · 机器人与计算机视觉42

    XBot-Omni:具身理解与交互的全模态模型

    XBot-Omni 提出 Thinker-Talker-Actor 架构,将全模态范式扩展至机器人肢体运动与面部表情。该模型在七个基准测试中展现了强大的多模态理解能力与自然协调的运动生成效果。研究验证了其直接从全模态输入生成具身多模态响应的能力,实现了从对话交互到物理环境具身通信的延伸。

  14. arXiv · 机器人与计算机视觉83

    SALA:语义对齐的潜在动作实现具身基础模型的双轴扩展

    针对现有潜在动作模型仅通过视频重建导致表征按外观聚类而非动作的问题,该研究引入 SALA 方法,利用人类与机器人视频的语言描述估计语义相似度并建立跨载体对应关系。

    推荐理由:提出利用语言描述对齐人类与机器人潜在动作,无需配对数据即可统一监督信号。

  15. arXiv · 机器人与计算机视觉78

    ACE-CaP-0:经验时代的现实世界代码策略

    ACE-CaP-0 提出一种结合按需演示(Demonstrations on Request)与按需仿真(Simulation on Demand)的智能体配方,旨在通过经验获取并保留可执行的物理技能。

    推荐理由:提出 ACE-CaP-0 框架,结合按需演示与按需仿真将八项真实操作任务成功率提升至 92.1%,实现无需人在环的自主执行。

  16. arXiv · 机器人与计算机视觉78

    EgoX:基于身体 Dreaming 的以自我为中心跨具身操作学习

    论文介绍 EgoX 框架,利用语义对应的观测与动作模态组织异构演示数据。模型 MXT+ 采用模块化交叉具身 Transformer 架构,为每种观测和动作分配专用 Tokenizer 与专家,共享主干网络并通过训练专用的身体 Dreaming 目标预测未来视觉和本体感觉状态以建模动力学。

    推荐理由:该预印本提出 EgoX 框架,通过模态解耦与身体 dreaming 实现跨机器人策略迁移,在 OOD 条件下显著提升任务进度。

  17. arXiv · 机器人与计算机视觉45

    多模态双向流解决社交机器人对话轮转失败问题

    针对社交机器人长期存在的对话轮转失败与误解难题,该研究提出需采用多模态双向流技术以降低此类故障频率。论文回顾了提升语音识别与轮转的早期方法,并论证了当前技术路径的有效性。该工作已在 EMF Workshop 及 HRI 2026 会议上展示,代码与数据许可状态待定。

  18. arXiv · 机器人与计算机视觉82

    I See What You Want:从视觉遥操作历史解码层级化操作意图

    论文介绍 VI AMO 数据集,包含来自 11 个机器人源的 6,600 集视频及动作与任务标注。研究提出 VIM 模型,在未见测试数据上对原子动作和任务的预测相似度分别达到 0.825 和 0.821,且在标签缺失情况下仍保持较高性能。

    推荐理由:该工作提出 VI AMO 数据集与 VIM 模型,能从视觉历史解码人类意图,使 VLA 策略在未见环境中接管任务并显著降低遥操作时间。

  19. arXiv · 机器人与计算机视觉78

    记住改变几率的事件:用于长视界操作的评论门控事件记忆

    针对长视界操作中因任务进度和早期尝试结果导致的决策别名问题,本文提出 CGEM 方法。该方法利用评论器筛选能显著改变成功概率预测的事件进行记忆,将正负变化分别编码为进展与失败记录,并在子任务完成后丢弃失败记录以降低成本。在十个子任务的诊断环境中,CGEM 达到 88.0% 的成功率,而传统观察窗口和运动学事件记忆方法成功率均为 0.0%,移除失败记录后成功率降至 1.7%。

    推荐理由:提出基于结果导向的评论门控事件记忆机制,解决长视界操作中决策别名问题。

  20. arXiv · 机器人与计算机视觉72

    任务级经验蒸馏用于具身导航:让被调用的 VLA 学习代理的经验

    论文提出 H2E 方法,将导航代理(LLM 规划器调用 VLA)的成功会话转化为 VLA 训练数据,使 VLA 在测试时独立导航。该方法保留原始任务指令下的动作并将目标位姿作为奖励,同时屏蔽远离目标的步骤损失,将在 1 米内的访问状态标记为停止点。

  21. arXiv · 机器人与计算机视觉78

    PERA:用于连续全身控制的插件式机器人动作专家

    论文提出 PERA 方法,旨在解决运动模仿中微调整个策略会干扰现有行为、独立训练每个策略成本高的问题。该方法冻结预训练的混合专家策略,利用任务奖励或教师动作监督训练额外的任务专家及其路由分数。

    推荐理由:提出 PERA 方法,通过冻结预训练策略并新增任务专家实现连续全身控制技能复用,在 Unitree G1 仿真中成功完成十项新任务且保留原有动作。

  22. arXiv · 机器人与计算机视觉38

    BiScopeNet:文本引导的手部角色对齐与子动作识别框架

    BiScopeNet 是一种无需修改视觉编码器或语言模型的视频大语言模型增强框架,通过 FocusAlign 模块和 MetaLoss 损失函数实现左/右手角色及操作物体的显式识别。该框架基于 BiScopeCap-100K 数据集在多个视频大语言模型骨干上进行了评估,在子动作检测任务中取得了优于对应监督基线的最强聚合性能。相关研究已获 BMVC 2026 接收,代码与数据许可状态待进一步确认。

  23. arXiv · 机器人与计算机视觉78

    MOSAIC:面向杂乱场景的模块化障碍物与空间感知操作框架

    针对现有视觉语言动作模型在杂乱环境中依赖隐式推断几何关系导致碰撞的问题,本文提出 MOSAIC 框架,通过辅助语义定位任务预测目标、目的地及障碍物的角色掩码,并结合三维重建深度构建几何 token 注入动作专家。

    推荐理由:该框架通过引入几何与障碍物感知模块,在杂乱场景中将 VLA 模型的成功率提升 5.1%,相关代码与数据集将在接受后开源。

  24. arXiv · 机器人与计算机视觉68

    Prior-as-Skill:基于同策略自蒸馏的自进化 VLM 智能体研究

    论文提出 PriorSplit 方法,旨在解决视觉语言模型(VLM)智能体在部署时因帧缺失或顺序异常导致记忆失效的问题。该方法通过记录训练集中相邻步骤的出现频率作为外部先验,当模型无法同时看到所需帧时利用该统计信息回答,从而无需额外训练即可保持对任务顺序的记忆。

  25. arXiv · 机器人与计算机视觉82

    TraceKV:一种用于推理视觉语言模型的策略保持低秩 KV Cache 压缩方法

    针对大上下文和长推理痕迹带来的 KV Cache 需求,现有低秩压缩方法易导致预测策略漂移。本文提出 TraceKV,通过统一在策校准、敏感性感知 SVD 及全局秩分配,显著降低推理过程中的策略 KL 发散。

    推荐理由:提出 TraceKV 框架,在无需微调下实现 KV Cache 压缩与策略保留,兼顾推理精度与显存效率。

  26. arXiv · 机器人与计算机视觉42

    πhalf 如何提升动态操作反应性:执行策略研究

    该研究利用πhalf模型在两个动态仿真基准及三个真实机器人任务上,探究了使预训练视觉语言动作(VLA)模型对物体移动保持反应性的关键因素。实验表明最佳预测 horizon 约为 1 秒,且保持轨迹连续的方法优于仅降低延迟的策略,政策适应与执行流水线需共同评估以修复目标失败。

  27. arXiv · 机器人与计算机视觉78

    低成本移动双臂长周期清洁任务中的 VLA 模型评估

    本文介绍了一个集成两个 LeRobot SO-101 机械臂、TurtleBot 4 底盘及 LeRobot-ROS 2 软件栈的低成本移动双臂平台,并以长周期的马桶清洁为案例研究。

    推荐理由:该研究在低成本移动双臂平台上评估了多种 VLA 模型,发现 $ ext{ extpi}_0$ 表现最佳,而增强变体未见提升。

  28. arXiv · 机器人与计算机视觉59

    一种面向视觉语言嵌入的通用概念分解方法

    针对视觉语言模型表示是否对齐人类自然描述尚不明确的问题,本文提出 GRACE 方法,在特征空间层面学习概念分解结构。该方法通过新颖的训练目标保持概念空间的几何关系,实现语义与通用概念分解。实验表明,GRACE 在多个图像和视频基准上均能产生与人类感知一致的概念分解,且以最小开销提升现有视觉语言模型的可解释性并保留大部分原始性能。

  29. arXiv · 机器人与计算机视觉78

    Decide Before You Move:基于扩散生成的搜索参考实现半静态环境零样本开放词汇物体导航

    该研究提出了 PreNav 框架,旨在解决室内半静态环境中的开放词汇物体导航问题。系统利用大语言模型将目标与家具的共现关系转化为空间先验,再通过条件扩散模型生成有序的中心线及带状区域作为全局搜索参考,从而避免在每一步都调用昂贵的视觉 - 语言模型。

    推荐理由:PreNav 框架利用扩散模型生成全局搜索参考,在无需微调的情况下实现了半静态环境下的零样本开放词汇导航。

  30. arXiv · 机器人与计算机视觉73

    Back to the Question: Tracing Visual Distraction Through Text Tokens

    该论文针对视觉语言模型在存在干扰图像时的准确性下降问题,通过注意力分析与消融实验发现中层干扰图到文本的连接是主要路径。研究提出一种答案一致性正则化方法,在不直接约束注意力的情况下减少干扰影响,使五个基准测试的循环准确率平均提升 16 个百分点,同时保持单图性能。材料为预印本论文,未涉及真实机器人部署或产品发布。