跳到正文
10月26日周一
  1. arXiv · 机器人与计算机视觉75

    AWARE:一种用于机器人动力学预测与内省的自适应世界模型框架

    arXiv 论文 AWARE 提出了一种基于外部摄像头监控的异常检测框架,无需访问车载传感器即可通过系统动力学估计和状态预测识别关键基础设施中的未知异常。该框架在包含负载碰撞和电机退化等场景的 240 条真实机器人起重机轨迹上评估,相比最强基线在仅凭相机进行噪声状态估计时实现了 26% 的分类性能提升。

  2. arXiv · 机器人与计算机视觉30

    Conditional Neural Processes 实现动作模仿中的自监督目标发现

    Conditional Neural Processes 通过引入隐藏层注意力机制,在动作序列观测早期即涌现出鲁棒的目标表征。该工作评估了模型在机器人自监督通用学习中的潜力,并作为 IROS2023 认知机器人世界模型研讨会的海报展示。相关代码与论文预印本已公开,为具身智能领域提供了新的自监督学习范式。

  3. arXiv · 机器人与计算机视觉78

    OWLS:基于开放世界的语言条件化速度场用于零样本漫游车导航

    OWLS 是一种无需任务特定训练、地形标注或持久地图的零样本漫游车导航方法。该方法利用视觉语言模型对单目相机图像中的每个像素进行可通行性评分,将这些语义分数投影到地面并通过形态学操作适配平台,进而生成最小时间规划器的速度场。研究在室内及非道路物理漫游车上进行了评估,并在模拟火星与月球漫游器上测试了 200 个程序化生成的地形,同时验证了在真实行星影像上的表现。

    推荐理由:论文提出利用视觉语言模型的语义评分构建速度场,实现无需训练与标注的零样本漫游车导航。

  4. arXiv · 机器人与计算机视觉78

    UAV-SwarmAgent:基于代码生成与视觉语言推理的可扩展多无人机侦察与任务分配系统

    该论文提出 UAV SwarmAgent,这是一个分层多智能体系统,操作员仅需用一句自然语言描述任务,地面站代理即通过代码生成为每架无人机规划路线。系统在仿真环境中对 4 类事故场景和 3 种基础模型进行测试,成功定位了 255 次任务中的 244 次(成功率 95.7%)。研究还发现增加无人机数量带来的速度提升存在上限(1.52 倍),并讨论了误报问题及后续用户研究的必要性。

    推荐理由:该工作提出通过代码生成与视觉语言推理实现多无人机任务分配,仿真显示定位成功率达 95.7% 且扩展性符合阿姆达尔定律。

  5. arXiv · 机器人与计算机视觉78

    HGWM:通过图匹配实现零样本物体导航的分层图引导世界模型

    HGWM 耦合了 LLM 生成的房间锚点先验与持久化的空间语义记忆,采用两阶段机制(粗粒度视觉语义评分与细粒度符号兼容性测量)结合 LLM 方向推荐进行本地动作选择。

    推荐理由:该工作提出分层图引导的世界模型,在仿真环境中实现零样本物体导航,提供了具体的成功率与路径效率指标及消融分析。

  6. arXiv · 机器人与计算机视觉15

    Optimization, Optimal Control, and Reinforcement Learning for Robotics v1 发布:Yonghyeon Lee 编译的机器人学习讲义,含数学关联与实操内容,暂无图表且待修订

    Yonghyeon Lee 通过人机协作编写并发布 Optimization, Optimal Control, and Reinforcement Learning for Robotics v1 预印本讲义。该资料聚焦优化、最优控制及强化学习的数学联系与实际应用,目前不含任何图表或图形。作为初步版本,后续计划进行修订、纠错与内容扩展。

  7. arXiv · 机器人与计算机视觉72

    Facultative Swarming:一种多机器人系统的动态能力而非分类

    Ning Zhou 和 Edmund Hunt 在 arXiv 上发布论文,提出将集群视为动态能力而非固定类别,构建可在中心式规划与去中心化自组织间切换的统一控制框架。该框架允许系统在条件允许可用时利用中心式优化的最优性,而在环境压力下优雅降级为去中心化集群以维持鲁棒性和适应性。

  8. arXiv · 机器人与计算机视觉74

    从徒手演示到自主机器人超声:一种解剖锚定学习框架

    该研究针对超声成像高度依赖操作者的问题,提出一种解剖锚定的模仿学习框架,结合外部视觉定位与力反馈实现自主超声扫描。系统在未见参与者上对肾脏、胆囊和肝脏标准切面采集及桡动脉扫查的任务成功率分别达到 96%、94%、88% 和 94%,相比微调后的 pi_0 模型在腹部任务上的成功率提升 10-42 个百分点。

  9. arXiv · 机器人与计算机视觉58

    $R^2E$: 一种面向自动化奖励函数设计的角色驱动进化框架

    针对强化学习中奖励函数设计成本高及 LLM 方法存在采样不足和反馈利用有限的问题,提出 $R^2E$ 框架。该框架通过明确的角色分工(探索者、守护者、演化者)结合动态调度策略与全局精英池机制,实现从广泛探索到聚焦开发的渐进式搜索并提升训练稳定性。在多项机器人任务上的实验验证了该方法的有效性。

  10. arXiv · 机器人与计算机视觉75

    Past as State, Present as Attention:用于长周期伴语动作生成的持久状态分块流匹配

    论文提出 PASPA 方法,通过“过去为状态、现在为注意力”原则解决长周期伴语动作生成中的风格一致性问题。该方法在块级流匹配框架下实现,利用跨块持久状态总结历史、块内双向自注意力建模当前片段,并支持多块监督与混合无分类器引导训练。实验显示其在公开基准上达到最先进 FGD 性能并保持长序列风格一致性。

  11. arXiv · 机器人与计算机视觉44

    Graphs of Trajectory Bundles for Nonlinear Motion Planning 方法发布

    Graphs of Trajectory Bundles (GTB) 方法结合采样规划与轨迹优化,为具有非线性及黑盒动力学的系统构建轨迹包图以解决最短路径问题。该方法能处理高度非线性、不稳定且含复杂碰撞约束的系统动力学,在顶点处捕捉局部动态并满足安全限制。论文提交至 arXiv,当前处于预印本状态,代码与权重暂未提及开放许可。

  12. arXiv · 机器人与计算机视觉75

    LogLook:面向前沿视觉语言模型的机器人规划器执行 grounding 记忆方法

    论文 LogLook 针对无需任务特定训练的前沿视觉语言模型,提出一种结合执行日志与选择性观察的记忆机制。该方法在保持记录的同时让模型自主决定查看位置,仅在预期变化处返回帧并快速浏览演示部分。实验显示,LogLook 在 RoboMME 基准测试集上解决了 93.5% 的任务,相比仅用笔记的记忆方式减少了 43% 的 token 消耗和一半以上的图像使用量,且因记忆或观察导致的失败率显著降低。

  13. arXiv · 机器人与计算机视觉42

    Unitree Go2 与 AgileX Piper 实现 VLA 模型闭环行走操作部署

    研究在 Unitree Go2 四足机器人搭载 AgileX Piper 机械臂上,通过调整模型变体、动作视界及演示规范,成功实现了闭环行走操作。扩大演示覆盖范围使未见末端执行器误差降低 30%,引入推等次要技能增加了新行为模式而未降级基线性能。真实世界实验验证了数据集构成对复杂行走操作成败的影响,确立了从桌面到移动机器人的部署管线。

  14. arXiv · 机器人与计算机视觉78

    RoboCode:学习可复用的机器人操作原语

    论文介绍 RoboCode,该方法通过共享软门控原语接口学习动作空间中的可复用模式,将动作块表示为多个学习到的原语的软组合而非单一离散码。在五个 ManiSkill 任务实验中,其平均重建 MSE 为 0.0187,代码激活分析显示跨任务的结构性复用,且在所有评估任务上达到最高或并列的闭环成功率(平均 75.6%),优于 ACT(68.8%)和 Diffusion Policy(41.6%)。

    推荐理由:该工作提出软门控原语接口,在五个任务上实现平均 75.6% 成功率并揭示代码复用结构。

  15. arXiv · 机器人与计算机视觉48

    Geometry-Aware Reinforcement Learning for Close-Fitting Wearable Insertion 提出强化学习框架解决穿戴辅助难题

    Geometry-Aware Reinforcement Learning for Close-Fitting Wearable Insertion 将穿衣任务建模为几何感知插入问题,结合分阶段课程与手指级软门控机制。该方法在刚性及柔性手镯任务中达到 84.7%±1.2% 成功率,真实机器人实验于假人手模型上完成 15/20 次成功。研究通过组件消融与初始手姿变化验证了框架有效性。

  16. arXiv · 机器人与计算机视觉82

    TravSUITE:基于自监督、不确定性感知的逆强化学习与地形估计的可通行性系统

    论文提出了适用于高速越野导航的 TravSUITE 系统,该系统包含利用视觉基础模型构建几何语义局部地图的高效体素映射器,以及联合预测鸟瞰图下几何、语义、速度和成本的统一神经网络。

    推荐理由:该工作提出无标注的自监督训练策略,结合地图补全与逆强化学习实现越野环境下的可通行性预测与风险自适应。

  17. arXiv · 机器人与计算机视觉85

    在流匹配 VLA 策略中耦合执行视界与采样深度

    这篇论文针对机器人操作任务中实时响应与执行稳定性的平衡难题,揭示了流匹配视觉语言动作模型中数值求解器深度与执行视界之间的基础计算 - 执行耦合关系。研究发现,粗粒度数值积分虽会降低快速重规划下的精度,但能显著改善长开环承诺下的任务性能;几何上,数值截断收缩了不变轨迹质点周围的侧向动作离散度,起到了抑制累积开环漂移的隐式正则化作用。

    推荐理由:该研究揭示了流匹配 VLA 策略中执行视界与采样深度的耦合机制,在不修改架构和无需训练的情况下显著降低推理延迟并提升任务成功率。

  18. arXiv · 机器人与计算机视觉57

    TTT in VLA Models: Exploring Training with Human Demonstrations

    该论文记录了在 InternVLA-A1 和 Pi0.5 上集成测试时训练(TTT)的实验配置与观察结果,指出在当前规模下该方法未能实现基于演示的持续目标选择。研究考察了记忆转移、截断反向传播及对比正则化等设置,发现较短序列或全轨迹梯度连通性并未显著提升对演示的响应能力;当演示简化为单帧提示时,真实机器人执行仍表现出对固定位置杯子的偏好。材料提供了实现细节与训练配置以支持进一步检查与复现。

  19. arXiv · 机器人与计算机视觉65

    Robotic Budding:从同质细胞到多样形态的物理自复制

    该研究提出了一种名为 Robotic Budding 的物理自复制方法,利用单一标准化模块(含磁吸接口与两个驱动关节)从二维平面折叠成三维结构。系统演示了通过离散运动指令,由人工遥操作引导父机器人吸附备用模块并组装出结构相同的子机器人(如三模块“三叶虫”或五模块“海豹”形态),随后两者分离且父体保留原有模块。

  20. arXiv · 机器人与计算机视觉44

    分布式蜂群形态发生:神经细胞自动机框架与 Crazyflie 四旋翼验证

    该研究提出集成神经细胞自动机的模块化框架,通过去中心化附着点发现机制实现无需预定义列表的渐进式生长。离线稀疏保留微调结合假阳性损失显著提升了数百机器人规模的晶格形态准确性。Crazyflie 四旋翼实验利用外部跟踪重建相对观测,验证了从仿真到现实的闭环执行管线有效性。

  21. arXiv · 机器人与计算机视觉31

    Move, don't think:低分辨率近场传感器提升全身避障学习效率

    研究通过强化学习在受约束样本预算下训练 200 个人形机器人玩躲避球,发现低分辨率“有损”近场传感器比高分辨率覆盖更能作为归纳偏置促进反射性避障行为。实验表明,预测接触发生时机和位置反而降低了学习效率,而包含潜在压缩、未来接触预期等八种候选表示中,损失型传感器表现最强。该工作旨在以最少演示数据让数据驱动机器人学会避免碰撞,无需收集破坏性样本。

  22. arXiv · 机器人与计算机视觉82

    月球群集机器人涌现出的合作体温调节机制

    针对 NASA CADRE 等任务中单台漫游车无法应对月夜极寒的问题,本研究利用强化学习训练共享策略,让二十个小型机器人无需位置参考或相互接触,自发形成聚集核心与边缘循环的行为模式。

    推荐理由:研究通过强化学习让二十个机器人自发形成类似帝企鹅的聚集与循环行为,在无需位置参考或接触的情况下实现热调节,使所有机器人在月夜后幸存。

  23. arXiv · 机器人与计算机视觉82

    无 fp32 主副本的 VLA 全权重微调会静默抹除大部分更新

    研究发现当 VLA 模型以 bfloat16 存储可训练权重且无 fp32 主副本时,AdamW 优化器会将小于 1/512 权重的更新静默舍入丢弃。在 LIBERO 基准测试中,移除该 fp32 副本导致 SmolVLA 和 pi_0.5 模型的成功率分别从 4.3% 提升至 49.3%、从 5.1% 提升至 80.9%,且修复方案仅需一行代码修改 LeRobot 配置。

    推荐理由:作者发现主流 VLA 微调默认配置因缺失 fp32 主副本导致更新静默丢失,提供修复方案并验证其显著提升成功率。

  24. arXiv · 机器人与计算机视觉48

    BM2PC:基于贝叶斯集优化的多模态 MPC 实现可变形线性物体动态操作

    BM2PC 框架通过控制即推理的后验将多模态规划转化为集合优化问题,在无需任务特定策略训练或微调的情况下,轨迹跟踪泛化性优于学习基线。真实世界实验显示其长视界跟踪准确,最长任务均方根误差降低 44.0%,避障规划时间减少 29% 至 66%。核心实现与补充视频已公开于 GitHub 链接。

  25. arXiv · 机器人与计算机视觉53

    FORCA:一种用于接触丰富机器人操作的力感知编码代理

    FORCA 是一种将视觉观测与腕部力/扭矩测量作为输入以编写 Python 程序的编码智能体,专门针对接触丰富的操作任务。该研究无需演示、特定训练或仿真,通过在五次真实机器人任务中检验其效果,展示了在提升操作精度、适应物体属性变化以及调节表面和物体运动下的接触控制方面的能力。与仅视觉的变体相比,FORCA 提高了抓取准确性和任务成功率,并减少了擦拭和剥离过程中的接触丢失。

  26. 盖世汽车 · 汽车资讯82

    跨维智能联合高校发布TaskAnchor提升机器人长程任务能力

    跨维智能联合香港中文大学(深圳)、佛山大学、华南理工大学发布TaskAnchor技术,旨在解决长程操作中因画面信息不足导致的任务状态混淆问题。该技术通过轻量适配器接入历史信息,输出任务状态坐标并利用上下文自适应测试时训练模块补充历史视觉证据。

    推荐理由:跨维智能发布TaskAnchor,通过引入历史上下文提升预训练具身模型的长程任务成功率与状态识别能力。

  27. Hugging Face Daily Papers74

    Rollback:通过世界模型回溯实现策略改进的范式

    Rollback 将世界模型从单向模拟器转变为反事实引擎,支持回溯至关键决策点并分支探索替代动作,从而在不依赖独立学习价值模型的情况下生成细粒度监督信号。该方法构建了分布式世界模型搜索与异步真实机器人执行的统一训练系统,利用真实过渡数据通过轻量级 LoRA 管道修正动力学(测试时物理 grounding)。

10月25日周日
  1. Hugging Face Daily Papers68

    ProAS:一种用于多轮代理强化学习的进度感知优势塑造框架

    针对无批评者算法(如 GRPO)存在的均匀信用分配难题,本文提出 ProAS 框架,利用动态演化的代理参考图实现细粒度信用分配。实验表明该方法在 Qwen2.5-1.5B-Instruct 和 Qwen2.5-7B-Instruct 上分别将 ALFWorld 任务成功率提升至 91.9% 和 94.3%,WebShop 任务达到 66.7% 和 70.8%,并将训练收敛速度提升约 2.44 倍。

10月24日周六
  1. Hugging Face Daily Papers38

    ReGE:通过经验合成构建更强智能体

    ReGE 框架利用单次教练调用将执行记录与现有工件合成为自包含指导,无需参数更新即可提升 GPT 和 Claude 在四个基准测试中的准确率。ReGE-Syn 实现相比适配 AggAgent 减少 98.2% 至 95.5% 的指导构建 token,且联合 token 数分别降低 15.7% 与 35.4%,验证了利用自身经验优化任务完成的有效性。