跳到正文

技术方向

机器人学习与VLA 最新动态

视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。

853 条精选近 30 天 542 条共收录 3,608 条

更新

精选归档 · 第 22 页

10月27日周二第 421–440 条
  1. arXiv · 机器人与计算机视觉78

    利用多模态基础模型进行上下文感知的表达性运动行为生成与调制

    该研究提出一种新方法,利用多模态(文本、音频、视频)上下文描述自动生成交互中复杂的全身手势序列。方法基于动态运动原型的统一数学实现,结合多模态基础模型生成参数化且高度上下文感知的动作变体。系统已集成到连续控制框架中,并通过知识蒸馏学习出更小、更高效的模型。用户研究表明,生成的运动在交互上下文中对齐度优于非调制或 API 级条件,且在不同机器人构型上展示了通用性。

    推荐理由:提出基于动态运动原型的上下文感知生成方法,在类人平台上验证了交互对齐优势并展示了跨构型通用性。

  2. arXiv · 机器人与计算机视觉78

    受限 arena 内微型振动驱动机器人集群的分布式预测 flocking 控制研究

    该论文提出了一种分布式预测 flocking 控制器,用于在无领导者或全局地图的情况下协调大量微型机器人。研究在数字孪生环境中对比了六种屏障函数安全公式,发现离散时间 CBF 在多种任务(如趋光性、轨道运行)和不同集群规模下表现最佳,能有效平衡安全性与秩序。材料仅基于仿真结果,未涉及真实物理部署或量产数据。

    推荐理由:原文在数字孪生环境中对比了六种安全约束公式,发现离散时间 CBF 在密集集群中碰撞最少且协调性最佳。

  3. arXiv · 机器人与计算机视觉78

    EmbodiedLab:超越操作,评测‘以行动求知’的具身智能体

    论文介绍EmbodiedLab基准,旨在评估具身智能体在物理系统中‘以行动求知’的能力。该基准包含30个跨学科实验,机器人需在仿真实验室中自主设计流程并读取仪器数据来推断系统参数。评测显示,即使最强模型在无操作技能辅助下成功率也不足50%,且操作交互是主要失败点。代码与评估工具已开源。

    推荐理由:提出EmbodiedLab基准,要求机器人通过操作物理系统来探索未知参数而非单纯执行指令。

  4. arXiv · 机器人与计算机视觉78

    VisGeo-PipeTrack:一种用于无人机动态管道跟踪的视觉几何伺服控制框架

    针对无人机在工业环境中对动态移动管道(如振动)的跟踪难题,本文提出 VisGeo-PipeTrack 伺服控制框架。该框架利用 YOLOv5 检测管道标签并结合视觉几何约束实现精准定位,同时设计基于模型预测控制的实时修正自适应 PID(MPC-RCAPID)控制器以应对跟踪挑战。

    推荐理由:提出 VisGeo-PipeTrack 框架,结合视觉几何约束与 MPC-RCAPID 控制器实现无人机对动态管道的自主跟踪。

  5. arXiv · 机器人与计算机视觉78

    MemVLN:面向视觉语言导航的流式情景记忆框架

    该论文提出 MemVLN 框架,旨在解决基于 VLM 的智能体在长视野导航中维持持续情景记忆的难题。方法上,系统维护一个有界压缩感知特征库(标注时间戳与动作相对姿态),并通过交叉注意力生成紧凑记忆 token;结合冻结预训练几何编码器及掩码轨迹总结任务进行训练。

    推荐理由:提出 MEMVLN 框架,通过压缩感知特征与冻结几何编码器实现长视野导航中的持续记忆,物理实验显示成功率从基线 17% 提升至 47%。

  6. arXiv · 机器人与计算机视觉82

    GUIFlow:面向 GUI 智能体的时序冗余感知增量推理框架

    针对基于视觉语言模型的 GUI 智能体在连续演化界面中重复计算的问题,本文提出了 GUIFlow 框架。该框架通过位置对齐的历史 KV 状态注入、变化信号引导的视觉编码器与语言模型状态选择性更新,以及利用早期动作响应作为目标模型验证的推测草稿,实现了跨步骤的增量推理复用。

    推荐理由:提出 GUIFlow 框架,在无额外训练下实现多步交互的增量推理,显著降低计算成本。

  7. arXiv · 机器人与计算机视觉78

    Learning Direct Control from Optimization for Dynamic Target Tracking

    针对移动机器人在导航障碍物同时保持目标可见性的动态跟踪任务,本文提出 LECO 框架,通过将轨迹优化转移至离线直接控制策略学习,利用可微运动学模型让轨迹级目标直接指导控制学习。

    推荐理由:LECO 框架将轨迹优化转化为离线直接控制策略学习,在仿真与真实机器人平台上实现了平滑且鲁棒的动态目标跟踪。

  8. arXiv · 机器人与计算机视觉78

    OSMA-Bench:家庭机器人导航中基于障碍物的安全基准测试

    该研究引入 OSMA-Bench 基准和语义敏感性指数(SSI),用于评估 VLM 及视觉语言动作策略在家庭环境下的安全导航能力。实验发现,即便有明确的安全提示,现有策略也无法将障碍物的语义风险等级一致地转化为连续的运动参数调整;针对 VLM 策略,增加显式的参数推断步骤可改善其适应性。该工作揭示了从语义理解到运动控制映射中的关键差距,并提出了相应的改进方向。

    推荐理由:OSMA-Bench 基准揭示 VLA 策略虽能语义区分障碍物却难以将其转化为连续运动参数,为物理 AI 中的语义到运动映射提供新评估视角。

  9. arXiv · 机器人与计算机视觉78

    RobotAgentBench:面向开放世界的机器人自主性基准

    论文介绍 RobotAgentBench(RAB),这是一个用于评估机器人智能体在真实开放世界家庭环境中自主性的综合基准。研究团队通过人环闭环的真实到仿真管线,构建了包含 50 种多样布局、90 个原子任务及多种长短期任务的场景。

    推荐理由:该基准通过人环闭环构建真实家庭场景,系统评估机器人智能体在任务发现、推理与恢复等维度的能力差距。

  10. arXiv · 机器人与计算机视觉84

    文字重要吗?文本对少样本与全样本视觉语言异常检测的贡献分析

    该论文通过理论证明与跨七个医疗数据集的实验表明,在少样本和全样本设置下,视觉语言异常检测器的性能仅取决于提示词向量的有效尺度(scale)和排列方式,而非其语义内容。研究证实,只要保持锚点向量差值的长度一致,替换文本不会改变概率图;打破尺度匹配会引入性能差距,而恢复该尺度即可消除差距,无需依赖具体文本含义。

    推荐理由:研究证明少样本与全样本异常检测器仅读取提示词的尺度与排列,而非语义内容。

  11. arXiv · 机器人与计算机视觉78

    GRASP:无需推理标注的医疗视觉问答混合后训练方法

    针对医疗视觉问答(VQA)数据稀缺且缺乏推理标注的问题,本文提出 GRASP 方法,将强化学习与监督微调结合于每次更新中,利用 RL 探索模型自身推理并由 SFT 提供金标准答案进行直接监督。该方法仅微调约 1% 参数,在 Qwen3-VL-8B、InternVL3-8B 和 Gemma 3-4B 等模型上均优于对比基线。论文开源了包含 12.9K 短答案问题的 MedTerse 数据集及代码。

    推荐理由:提出 GRASP 方法,结合 RL 探索与 SFT 监督解决医疗 VQA 数据稀缺且无推理标注的难题。

  12. arXiv · 机器人与计算机视觉83

    LLM4Robot-Bench:GPT-6 Astra 在机器人操作中的极限有多远?一个分层配对仿真 - 现实基准

    作者引入了 PhysLadder,这是一个用于评估富接触操作中物理交互能力的分层 Sim-Real 基准。其包含的 16 个家庭任务跨越三个累积层级:接触选择与几何对齐(L1)、持续接触内的力调节(L2)以及协调接触重构与力调节(L3)。

    推荐理由:该基准通过分层任务量化了 GPT-6 Astra 在接触密集操作中的能力边界,揭示了从几何对齐到力调节的退化规律。

  13. arXiv · 机器人与计算机视觉78

    TopX:仅凭骨架文件实现未见角色的文本到动作生成

    TopX 是一个拥有 73M 参数的流匹配 Transformer,能够仅根据骨架树、静息姿态和关节名称为任意运动学树生成关节旋转和根轨迹,无需训练片段或微调。该模型通过热核坐标对查询和键进行旋转以处理任意拓扑的骨架图,并在测试集上显著优于 UniMate,特别是在未见过的角色骨架上降低了 FID 分数并减少了穿模现象。

    推荐理由:TopX 模型仅凭骨架文件即可为未见过的角色生成动作,在无需微调或重定向的情况下显著降低了描述符与运动质量指标。

  14. arXiv · 机器人与计算机视觉83

    HumanoidNDM:通过人形神经动力学模型弥合运动跟踪的训练与部署差距

    针对人形机器人在真实部署中因物理扰动或仿真不准导致的训练 - 部署差距问题,本文提出 HumanoidNDM 在线微调框架。该方法在数据采集阶段引入低频自适应参考扰动机制,在模型训练阶段利用可微前向运动学构建基于本体的神经动力学模型以消除对昂贵动作捕捉系统的依赖,并在策略微调阶段通过反向传播梯度直接优化策略。

    推荐理由:提出首个无需动作捕捉的在线微调框架,通过本体感知神经动力学模型实现人形机器人对扰动的快速适应。

  15. arXiv · 机器人与计算机视觉83

    X-World:将视频先验迁移至可变视角机器人控制框架

    该论文提出了 X-World 框架,旨在解决将视频扩散模型生成的交互表示迁移到机器人控制的问题。方法上,通过残差跨视角注意力分支扩展预训练视频骨干网络以支持一到三个视角,利用层对齐的 Q-Former 聚合特征,并通过数据集特定模块映射原生状态与动作接口至共享动作专家。

    推荐理由:该框架将视频先验通过固定长度 token 序列迁移至共享动作专家,在 LIBERO 基准上达到 98.5% 成功率,并展示了跨视角融合与去耦训练对真实双臂任务的效果。

  16. arXiv · 机器人与计算机视觉78

    基于 RGB-D 的移动端机器人实时行人轨迹预测:TrajMamba 模型

    针对移动机器人在动态环境中导航的短时段行人轨迹预测任务,该研究提出 TrajMamba 模型以解决传统方法中训练数据理想化与推理端传感器噪声之间的分布差异。模型采用单一路径处理姿态提取、深度反投影及平滑过程,利用堆叠双向 Mamba 块编码髋部中心速度并配合 GRU 头解码未来速度。

    推荐理由:该工作提出轻量级双向状态空间模型解决训练部署分布差异,在移动机器人上实现实时行人轨迹预测。

  17. arXiv · 机器人与计算机视觉78

    Sybil-Resilient Multi-Drone Exploration of Indoor and Confined Spaces

    该研究针对多无人机协同探索室内受限空间时面临的 Sybil 攻击(恶意节点伪造身份干扰探索),提出五种无需额外安全基础设施的防御方案,仅依赖无人机自身的传感器与地图数据。实验在包含办公室、隧道及三层建筑等七类场景的 70 张地图上进行模拟测试,结果显示在超过 2350 次任务中,隔离机制能将受攻击团队的探索覆盖率恢复至未受攻击水平,仅在特定合谋或大规模团队场景下存在局限。

    推荐理由:论文提出无需额外安全设施的防御机制,通过传感器与地图审计抵御无人机群中的 Sybil 攻击。

  18. arXiv · 机器人与计算机视觉78

    Speech-π0.5:面向机器人操作的直接语音条件语言 - 动作模型

    针对视觉 - 语言 - 动作(VLA)模型依赖文本输入导致自然语音部署受限的问题,本文提出 Speech-π0.5。该模型基于 π0.5 架构,利用跨模态投影将原始语音帧直接转换为音频 token,无需显式文本转录,从而显著降低响应延迟。实验在 LIBERO 基准上验证了其在保持竞争力的任务成功率的同时,对未见口音具有鲁棒性,而单一适配器则表现较差。

    推荐理由:提出 Speech-π0.5,通过跨模态投影将语音帧直接映射为动作指令,相比传统 ASR 流程降低三倍响应延迟。

  19. arXiv · 机器人与计算机视觉82

    一次扫描即够:无需演示的语言引导导航自适应方法

    针对语言引导导航在新环境中部署失败的问题,该方法利用单次 iPhone 扫描构建训练环境并合成可执行导航片段,通过解析重建场景的帕累托效用直接适配策略,无需人工标签或模仿学习。在五个真实环境中,RealNav 系统达到 85% 的成功率,显著优于依赖人工演示基线的 49%,且在未扫描区域也保持 82% 的性能。

    推荐理由:提出用单次手机扫描替代人工演示,通过解析重建场景实现免标签策略适配,在真实机器人上导航成功率提升至 85%。

  20. arXiv · 机器人与计算机视觉78

    RoboReason:通过可扩展数据生成增强机器人相关 VLM 的推理能力

    论文指出将视觉语言模型(VLM)集成到机器人操作流程中时,真实世界评估困难且难以扩展。作者提出利用真实机器人上的立体和腕部相机图像进行空间与时间排序任务来评估视觉推理能力,具体包括基于语言描述的帧重排、按距离的物体深度排序以及像素坐标下的左右排序。

    推荐理由:提出基于真实机器人立体与腕部相机数据的可扩展生成管线,通过时空排序任务提升 VLM 在下游机器人任务中的推理能力。