跳到正文
10月27日周二
  1. arXiv · 机器人与计算机视觉82

    GUIFlow:面向 GUI 智能体的时序冗余感知增量推理框架

    针对基于视觉语言模型的 GUI 智能体在连续演化界面中重复计算的问题,本文提出了 GUIFlow 框架。该框架通过位置对齐的历史 KV 状态注入、变化信号引导的视觉编码器与语言模型状态选择性更新,以及利用早期动作响应作为目标模型验证的推测草稿,实现了跨步骤的增量推理复用。

    推荐理由:提出 GUIFlow 框架,在无额外训练下实现多步交互的增量推理,显著降低计算成本。

  2. arXiv · 机器人与计算机视觉78

    Learning Direct Control from Optimization for Dynamic Target Tracking

    针对移动机器人在导航障碍物同时保持目标可见性的动态跟踪任务,本文提出 LECO 框架,通过将轨迹优化转移至离线直接控制策略学习,利用可微运动学模型让轨迹级目标直接指导控制学习。

    推荐理由:LECO 框架将轨迹优化转化为离线直接控制策略学习,在仿真与真实机器人平台上实现了平滑且鲁棒的动态目标跟踪。

  3. arXiv · 机器人与计算机视觉31

    基于分位数的命令预留 MPC 解决两轴电流指令云台指向控制问题

    该研究提出一种结合分位扰动预测与管式模型预测控制的算法,在存在摩擦、扭矩脉动及模型失配等机械干扰下实现高精度线视场指向。实验显示,该方法在两轴嵌入式平台上七次重复试验中,二维指向均方根误差为$3.94 \pm 0.10$ mrad且评估窗口内无命令受限样本。论文已提交至《富兰克林学会学报》,附带硬件试验数据与重算脚本作为辅助文件。

  4. arXiv · 机器人与计算机视觉58

    人类行为模型的目标不匹配:机器人学习中行为质量与学习效用的分离

    该论文在高速驾驶和物体交接两个领域评估了不同的人类行为模型,发现现有的行为评估指标不能一致地预测下游强化学习策略的性能,且评估结果对轨迹表示的选择敏感。研究还表明,即使已知真实的测试行为分布,针对不同的分布进行训练也可能带来更好的下游性能。

  5. arXiv · 机器人与计算机视觉72

    面向四旋翼无人机的拦截导向球形轴承非线性模型预测控制研究

    针对搭载惯导相机的四旋翼拦截器需同时解决机动与相机指向耦合冲突的问题,提出 ISB-NMPC 方法,结合 S^2 上的姿态补偿扩展卡尔曼滤波进行目标方位预测。在 30 次配对仿真试验中拦截成功率达 86.7%,平均可见时间占比 99.11%;户外飞行实现约 150 米外获取 30 厘米目标,长航程速度约 17 m/s,追击机动目标时约 14 m/s。代码与硬件开源。

  6. arXiv · 机器人与计算机视觉78

    OSMA-Bench:家庭机器人导航中基于障碍物的安全基准测试

    该研究引入 OSMA-Bench 基准和语义敏感性指数(SSI),用于评估 VLM 及视觉语言动作策略在家庭环境下的安全导航能力。实验发现,即便有明确的安全提示,现有策略也无法将障碍物的语义风险等级一致地转化为连续的运动参数调整;针对 VLM 策略,增加显式的参数推断步骤可改善其适应性。该工作揭示了从语义理解到运动控制映射中的关键差距,并提出了相应的改进方向。

    推荐理由:OSMA-Bench 基准揭示 VLA 策略虽能语义区分障碍物却难以将其转化为连续运动参数,为物理 AI 中的语义到运动映射提供新评估视角。

  7. arXiv · 机器人与计算机视觉78

    RobotAgentBench:面向开放世界的机器人自主性基准

    论文介绍 RobotAgentBench(RAB),这是一个用于评估机器人智能体在真实开放世界家庭环境中自主性的综合基准。研究团队通过人环闭环的真实到仿真管线,构建了包含 50 种多样布局、90 个原子任务及多种长短期任务的场景。

    推荐理由:该基准通过人环闭环构建真实家庭场景,系统评估机器人智能体在任务发现、推理与恢复等维度的能力差距。

  8. arXiv · 机器人与计算机视觉38

    FastWAM、OpenWAM 与 π₀.₅ 利用未来视频预测作为训练辅助监督提升预训练 VLA 策略成功率

    FastWAM 和 OpenWAM 在已知任务清洁条件下,引入未来视频预测监督使成功率分别提升 24.38 和 72.91 个百分点。然而模型在环境随机化等分布偏移下表现不佳,未见一致优势。研究还向 π₀.₅ 引入轻量 Transformer 预测器作为训练目标,使其成功率从 82.94% 升至 89.19%,证明无需大型预训练视频扩散模型即可实现有效辅助监督。

  9. arXiv · 机器人与计算机视觉74

    基于德国坦克问题的嗅觉导航终止准则研究

    针对机器人接近气味源时浓度梯度平坦化及湍流导致信号中断的问题,本文提出一种受二战德国坦克问题启发的轻量级统计估计方法。该方法将传感器读数视为观测值,仅需维护运行最大值和样本计数器即可构建无偏估计器,用于估算气味羽流的峰值浓度并推断源头位置。研究推导了该估计器的精确置信边界,将其转化为机器人或无人机判断是否继续搜索或着陆的决策规则,并在假设失效情况下考察了其鲁棒性与样本效率。

  10. arXiv · 机器人与计算机视觉18

    多模态社会感知框架在虚拟现实中的具身智能交互研究

    该研究提出整合语音、视觉与触觉的多模态框架,以生成适配上下文的机器人语动。实验在包含五个社交场景的虚拟现实中,由 18 名参与者评估其表现,并与人工遥操作基线对比。结果显示自主系统在自然度与社会适宜性评分上虽高于中性点,但显著低于人工遥操作基线,揭示了当前自主机器人在多模态社会交互中面临的挑战。

  11. arXiv · 机器人与计算机视觉83

    LLM4Robot-Bench:GPT-6 Astra 在机器人操作中的极限有多远?一个分层配对仿真 - 现实基准

    作者引入了 PhysLadder,这是一个用于评估富接触操作中物理交互能力的分层 Sim-Real 基准。其包含的 16 个家庭任务跨越三个累积层级:接触选择与几何对齐(L1)、持续接触内的力调节(L2)以及协调接触重构与力调节(L3)。

    推荐理由:该基准通过分层任务量化了 GPT-6 Astra 在接触密集操作中的能力边界,揭示了从几何对齐到力调节的退化规律。

  12. arXiv · 机器人与计算机视觉68

    AuRA:从原子到比特——基于自主机器人交互的数字孪生构建

    arXiv 论文 AuRA 提出一种自动化系统,旨在减少构建物理信息数字孪生时对人力的依赖。该系统结合执行感知的抓取选择、源自机器人状态的夹持器运动测量以及注册的前交互几何与外观先验,实现了无需视觉跟踪的自主数据采集和受损物体信息的恢复。

  13. arXiv · 机器人与计算机视觉78

    TopX:仅凭骨架文件实现未见角色的文本到动作生成

    TopX 是一个拥有 73M 参数的流匹配 Transformer,能够仅根据骨架树、静息姿态和关节名称为任意运动学树生成关节旋转和根轨迹,无需训练片段或微调。该模型通过热核坐标对查询和键进行旋转以处理任意拓扑的骨架图,并在测试集上显著优于 UniMate,特别是在未见过的角色骨架上降低了 FID 分数并减少了穿模现象。

    推荐理由:TopX 模型仅凭骨架文件即可为未见过的角色生成动作,在无需微调或重定向的情况下显著降低了描述符与运动质量指标。

  14. arXiv · 机器人与计算机视觉63

    ScheNav:基于示意图的目标导向导航方法

    针对复杂环境中具身智能体寻找目标物体的任务,本文提出了 ScheNav 框架及 Furnished-RPLAN 数据集。该工作利用草图(如手绘或方向标注)作为低成本引导信息,通过 SchemaField 模块融合引导信息与观测数据以预测空间价值场,实现了从粗糙示意图到探索与停止决策的转化。

  15. arXiv · 机器人与计算机视觉73

    PS-DLO:一种感知物体属性与空间的变形线性物体操作策略

    针对变形线性物体(DLO)定位难且形变依赖物理属性的挑战,提出 PS-DLO 策略。该方法利用对比图像文本学习获取物体属性先验,并通过 SAM3 提取未来观测的掩码引导特征以编码任务相关区域及后续构型。在单臂与双臂平台上的九项真实世界任务中,PS-DLO 平均成功率达 68.9%,比最强基线高 20.0 个百分点;在蝴蝶结解开的泛化实验中,七种视觉扰动条件下有六种表现优于基线。

  16. arXiv · 机器人与计算机视觉45

    Semantic-Coupled Perception Framework for Autonomous Laparoscope Control 提出闭环自主腹腔镜控制框架,耦合手术阶段识别与视觉感知

    该框架通过利用手术实体间的相位依赖关系,在遮挡和重叠等挑战性条件下提升目标状态估计精度。基准数据集实验验证了其在手术阶段识别和目标跟踪上的性能,包括复杂场景下的鲁棒性评估。鬼影实验进一步证明相比固定视场控制,该方法显著改善了目标可见性和任务执行效果。

  17. arXiv · 机器人与计算机视觉83

    HumanoidNDM:通过人形神经动力学模型弥合运动跟踪的训练与部署差距

    针对人形机器人在真实部署中因物理扰动或仿真不准导致的训练 - 部署差距问题,本文提出 HumanoidNDM 在线微调框架。该方法在数据采集阶段引入低频自适应参考扰动机制,在模型训练阶段利用可微前向运动学构建基于本体的神经动力学模型以消除对昂贵动作捕捉系统的依赖,并在策略微调阶段通过反向传播梯度直接优化策略。

    推荐理由:提出首个无需动作捕捉的在线微调框架,通过本体感知神经动力学模型实现人形机器人对扰动的快速适应。

  18. arXiv · 机器人与计算机视觉70

    RoboDuo:通过代码实现尝试、检查与原子级恢复的视觉语言动作模型

    针对视觉语言动作模型在长程任务中单步失败导致整体未完成的痛点,本文提出 RoboDuo 闭环双系统框架。该框架利用代码作为编程智能体与两个 VLA 之间的接口:全任务 VLA 负责尝试执行,若检查发现未完成,则由原子 VLA 完成剩余步骤。

  19. arXiv · 机器人与计算机视觉83

    X-World:将视频先验迁移至可变视角机器人控制框架

    该论文提出了 X-World 框架,旨在解决将视频扩散模型生成的交互表示迁移到机器人控制的问题。方法上,通过残差跨视角注意力分支扩展预训练视频骨干网络以支持一到三个视角,利用层对齐的 Q-Former 聚合特征,并通过数据集特定模块映射原生状态与动作接口至共享动作专家。

    推荐理由:该框架将视频先验通过固定长度 token 序列迁移至共享动作专家,在 LIBERO 基准上达到 98.5% 成功率,并展示了跨视角融合与去耦训练对真实双臂任务的效果。

  20. arXiv · 机器人与计算机视觉48

    Doppler-aided Position-Velocity Tracking of Hidden Objects using mmWave Radar:首个室内非视距雷达数据集与追踪基准发布

    针对机器人安全室内操作需求,该方法利用毫米波雷达多普勒信息解决隐藏物体追踪难题。研究构建了包含 576 序列、720,856 帧数据的室内非视距雷达数据集,并在独立轨迹上实现位置误差 8.95cm 与速度误差 1.75cm/s。该工作建立了低成本雷达追踪移动目标的基准,支持未见过的移动人类目标场景泛化。

  21. arXiv · 机器人与计算机视觉74

    DSGN:一种用于可扩展同时监控与围捕的双流门控网络

    针对多机器人应用中监控(空间分散)与围捕(目标向凝聚)的任务冲突及切换不稳定问题,本文提出双流门控网络 DSGN 架构。该架构通过专用表征流分离任务并引入上下文感知门控机制与概率先验正则化,以支持大规模交互下的清晰行为过渡。评估显示其在恒定密度跨尺度设置下保持强效性与可扩展性,且动态门控机制在纯监控及任务切换场景中均有效。代码已开源。

  22. arXiv · 机器人与计算机视觉53

    Extended LASMP:面向无人机导航的语言辅助子集采样运动规划器

    论文提出 Extended LASMP 方法,旨在提升四旋翼飞行器在三维环境中的基于采样的运动规划效率。该方法将语言辅助子集采样扩展至空中系统,利用提示词大模型从自然语言指令中提取实体并验证指令,将其转化为偏航角约束和高度感知的几何约束。仿真结果表明,该方法能在复杂环境中生成无碰撞且一致的轨迹,相比均匀 RRT 规划器显著减少了采样努力。

  23. arXiv · 机器人与计算机视觉28

    ElevateHead:一次决策后锁定动作头以解决多模态模仿学习中的摇摆问题

    ElevateHead 通过在学习到的决策点一次性选择并锁定动作模式,解决了策略在演示存在多种有效方式时的摇摆现象。该方法在受控任务中将成功率从基线 BeT 的 29.3% 提升至 45.2%,且在强制指定模式下对成功集子的匹配率达 95%。研究通过逐版诊断修复了不同起始位置和物体摆放导致的承诺失效,但仿真结果尚未在真实机器人上验证。

  24. arXiv · 机器人与计算机视觉72

    TurboWAM:面向快速世界动作模型的“关键信息”学习技术

    arXiv 预印本发布 TurboWAM,一种旨在解决世界动作模型高推理延迟瓶颈的新技术。该方法引入结构化世界表示聚合模块与动作监督机制,通过减少执行的模型层数及缓存相关表示来降低计算开销。多项机器人操作基准实验表明,TurboWAM 在保持具有竞争力的任务成功率的同时显著降低了推理延迟。材料为技术报告,未提及真实部署结果或同行评审状态。

  25. arXiv · 机器人与计算机视觉78

    基于 RGB-D 的移动端机器人实时行人轨迹预测:TrajMamba 模型

    针对移动机器人在动态环境中导航的短时段行人轨迹预测任务,该研究提出 TrajMamba 模型以解决传统方法中训练数据理想化与推理端传感器噪声之间的分布差异。模型采用单一路径处理姿态提取、深度反投影及平滑过程,利用堆叠双向 Mamba 块编码髋部中心速度并配合 GRU 头解码未来速度。

    推荐理由:该工作提出轻量级双向状态空间模型解决训练部署分布差异,在移动机器人上实现实时行人轨迹预测。

  26. arXiv · 机器人与计算机视觉78

    Sybil-Resilient Multi-Drone Exploration of Indoor and Confined Spaces

    该研究针对多无人机协同探索室内受限空间时面临的 Sybil 攻击(恶意节点伪造身份干扰探索),提出五种无需额外安全基础设施的防御方案,仅依赖无人机自身的传感器与地图数据。实验在包含办公室、隧道及三层建筑等七类场景的 70 张地图上进行模拟测试,结果显示在超过 2350 次任务中,隔离机制能将受攻击团队的探索覆盖率恢复至未受攻击水平,仅在特定合谋或大规模团队场景下存在局限。

    推荐理由:论文提出无需额外安全设施的防御机制,通过传感器与地图审计抵御无人机群中的 Sybil 攻击。

  27. arXiv · 机器人与计算机视觉78

    Speech-π0.5:面向机器人操作的直接语音条件语言 - 动作模型

    针对视觉 - 语言 - 动作(VLA)模型依赖文本输入导致自然语音部署受限的问题,本文提出 Speech-π0.5。该模型基于 π0.5 架构,利用跨模态投影将原始语音帧直接转换为音频 token,无需显式文本转录,从而显著降低响应延迟。实验在 LIBERO 基准上验证了其在保持竞争力的任务成功率的同时,对未见口音具有鲁棒性,而单一适配器则表现较差。

    推荐理由:提出 Speech-π0.5,通过跨模态投影将语音帧直接映射为动作指令,相比传统 ASR 流程降低三倍响应延迟。

  28. arXiv · 机器人与计算机视觉53

    RoboLongR:因果一致奖励让机器人逐步掌握长视界操作

    论文提出 RoboLongR 框架,旨在解决长视界操作中视觉进展掩盖任务先决条件的问题。该方法通过阶段打乱监督、循环记忆和两轮训练学习依赖历史的奖励,引导策略从行为克隆过渡到在线强化学习。模型在 RLBench 88 个任务预训练后,对未参与预训练的 18 个长视界任务平均成功率达 31.8%,超越最强基线 9.2 个百分点;在四个真实机器人任务上成功率为 57.5%,提升 32.5 个百分点。

  29. arXiv · 机器人与计算机视觉72

    AdaDexTrack:面向语言指令的自适应灵巧操作跟踪新框架

    论文提出了 AdaDexTrack 框架,通过引入循环调制器解决语言指令转化为长程接触丰富手物交互时的噪声与偏差问题。该框架包含蒸馏后的通用跟踪器作为技能载体,以及执行参考调制、物体潜变量调制和位置目标调制三种反馈修正机制。研究在大规模数据集上训练并验证了该方法在未见轨迹和物体上的鲁棒性与泛化能力,同时在真实硬件上实现了零样本仿真到现实的迁移,显著提升了纯跟踪器变体的性能。

  30. arXiv · 机器人与计算机视觉78

    RoboReason:通过可扩展数据生成增强机器人相关 VLM 的推理能力

    论文指出将视觉语言模型(VLM)集成到机器人操作流程中时,真实世界评估困难且难以扩展。作者提出利用真实机器人上的立体和腕部相机图像进行空间与时间排序任务来评估视觉推理能力,具体包括基于语言描述的帧重排、按距离的物体深度排序以及像素坐标下的左右排序。

    推荐理由:提出基于真实机器人立体与腕部相机数据的可扩展生成管线,通过时空排序任务提升 VLM 在下游机器人任务中的推理能力。

  31. arXiv · 机器人与计算机视觉78

    POD-RoPE:面向具身智能的物理观测分布旋转位置编码

    该论文提出 POD-RoPE,一种将 Token 观测足迹表示为相机中心、视角与采样时间分布的旋转位置编码方法。在独立采样下,期望旋转可编码分布间的相对关系;当分布坍缩为单点时退化为标准 RoPE。

    推荐理由:该工作提出 POD-RoPE,将观测表示为相机中心、视角与时间的分布统计,在 RoboTwin 2.0 仿真任务中将 Fast-WAM 成功率提升约 1%,并在 H20 基准上实现比 P-RoPE 快 1.91 倍的推理速度。

  32. arXiv · 机器人与计算机视觉78

    基于机器人轮胎 - 表面交互的地面摩擦评估

    该论文研究了如何利用轮式移动机器人的车载测量来表征室内地面的摩擦特性并改善定位精度。研究通过控制速度剖面诱导车轮打滑,利用惯性传感与里程计的速度差异、响应延迟及频域特征对五种不同地面进行分类。

    推荐理由:原文提出利用轮体速度失配特征评估地面摩擦,在五种表面测试中达到 97.1% 分类准确率。