跳到正文
10月28日周三
  1. arXiv · 机器人与计算机视觉35

    黑盒机器人策略失效时的在线传感器诊断与修复研究

    针对冻结或不可访问的机器人基础模型策略,该方法通过结构化代理分离步态周期以指导输入修复。在仿真 Go2 平台上,离线诊断将行走成功率从 259/640 提升至 429/640,在线修复达 382/640 且未触发故障集外的误报。研究结果目前仅基于单一策略和部分筛选的仿真故障集,硬件验证与通用性仍待开放。

  2. arXiv · 机器人与计算机视觉82

    RynnWorld-Latent:一种基于通用潜在动作的跨具身世界模型

    论文提出了 RynnWorld-Latent,这是一个利用 3D-grounded latent actions 作为共享条件接口的跨具身视频世界模型。该模型在预训练阶段联合使用了人类交互视频、机器人演示和仿真 rollout,无需统一的原生动作空间。

    推荐理由:该工作提出基于通用潜在动作的跨具身世界模型,支持在人类视频与机器人演示上联合预训练,并验证了其在真实机器人上的策略成功率提升。

  3. arXiv · 机器人与计算机视觉35

    On Shaky Ground:非刚性底盘效应对移动操作的影响研究

    该论文通过砂光案例研究,结合仿真与两台轻量级无驱动轮式测试床实验,揭示了持续接触下非刚性底盘行为对任务执行的影响。在低底盘 - 地面阻力条件下,仅能实现 100 N 指令力的 54%-70%,工具中心点误差高达 100 mm;增加阻力可改善力实现并抑制位移,但底盘振动与力跟踪误差无一致关联。研究强调了联合考察力、运动与振动以表征轻量级移动操作的重要性。

  4. arXiv · 机器人与计算机视觉60

    RoboSTD:基于矢状面镜像的零样本单臂至双臂迁移方法

    针对双臂机器人操作演示采集成本高且单臂数据难以直接迁移的问题,论文提出 RoboSTD 方法。该方法首先对观测、本体感知及动作进行矢状面镜像处理以构建可执行的伪双侧演示,随后利用大语言模型生成结构化的时空协调约束,指导在工作空间区域与任务阶段的重建监督信号。

  5. arXiv · 机器人与计算机视觉42

    CARD:基于接触锚定的灵巧操作重定向框架

    CARD 是一个无需物体的仿真与重定向框架,通过显式保留接触力目标将人类演示转化为机器人动作。该框架在视频、手套及运动捕捉数据上,将接触保持率从传统方法的不足 10% 提升至 43%-78%,并将 GRAB 数据集上的严格任务成功率由 12% 提高至 32%。其引入的触觉追踪控制器对硬件开环回放中复现演示力至关重要,确立了通过接触保持将人类灵巧性转移给机器人的可扩展接口。

  6. arXiv · 机器人与计算机视觉74

    BoxWorld:让世界引擎控制视频生成器

    论文介绍 BoxWorld 框架,解决实时交互式视频世界中用户定义行为难以指定对象级规则的问题。该方法将交互推理与生成渲染分离,由代码代理构建世界引擎确定交互结果,再通过生成渲染器将状态流转化为视频。系统采用三阶段训练策略学习对象定位与状态转换,并在自生历史上进行蒸馏。作者提出了 PairedStateBench 基准用于评估细粒度交互控制能力。

  7. arXiv · 机器人与计算机视觉78

    Learning to Read Braille:盲文识别评测与改进

    针对 VLM 难以直接转录盲文的难题,本文构建了包含 259 张真实世界 Grade-1 和 Grade-2 盲文图像的基准 BrailleBench。研究发现通用模型表现不佳而工具辅助系统效果更佳;通过合成数据训练的 2B 参数模型在 Grade-1 上达到 87% 准确率,Grade-2 为 61%,优于现有系统但存在合成与真实场景间的显著差距。

    推荐理由:该文构建盲文评测基准并证明合成数据可提升模型能力,但指出合成验证高分无法保证真实照片识别效果。

  8. arXiv · 机器人与计算机视觉45

    ObjectTwin:测量绑定捕获的数字孪生资产对应差距

    ObjectTwin 提出一种基于扫描的测量协议,在冻结实例、相机及深度锚点等条件下仅替换物体表征以量化资产对应差距。实验显示,在两个室内 RGB-D 采集域和两种生成后端下,可见绑定生成的资产 MaskIoU 损失为 0.302-0.497。该研究确立了捕获对应关系作为衡量生成资产质量与物理评估之间独立接口的地位。

  9. Hugging Face Daily Papers42

    SO-101 Bench:基于 Isaac Lab 数字孪生的低成本机器人空间操作基准

    SO-101 Bench 是首个针对低成本 SO-101 机械臂构建的仿真基准,支持语言条件约束的空间操作任务。该基准在包含 138 个物体的模拟环境中评估了九种 VLA 及世界动作模型,发现最佳策略成功率近 61%,而结合代码生成与抓取策略的智能体可达 83.2%。尽管仿真成功率高估真实表现,但五类无实机数据训练的策略在物理臂上排名完全一致(Spearman rho = 1.00)。

  10. Hugging Face Daily Papers72

    A-RSI:零数据多模态自适应任务刷新实现自我提升

    该论文提出 A-RSI 方法,旨在解决递归自我改进中何时引入新经验的问题。系统通过监控训练日志中的奖励变化和准确率来动态刷新任务池,无需依赖验证集或测试分数。模型利用静态库生成多模态问题及参考答案,并自动验证属性与审计答案,整个训练循环不依赖外部示例或人工标注。在包含 11 个基准的测试套件上,该方法使用 800 个新任务将平均性能从 57.77 提升至 61.05。

10月27日周二
  1. arXiv · 机器人与计算机视觉75

    基于 SMPC 演示的 loco-manipulation 学习与稀疏离线到在线 RL

    该论文提出了一种结合样本预测控制(SMPC)与强化学习的框架,旨在解决机器人自主性中移动与操作整合时的奖励塑造瓶颈。研究完全在仿真环境中利用 SMPC 作为自动化专家生成大规模离线数据集,从而解决了探索问题,使得后续可以使用纯稀疏任务奖励训练离线策略 RL 智能体。

  2. arXiv · 机器人与计算机视觉68

    SHRIMP:基于自然语言的机器人任务计划迭代精炼系统

    SHRIMP 是一个允许用户通过自然语言自动生成机器人分层原语计划并进行迭代修订的系统。该系统利用大语言模型将指令转化为计划,并在每次修订中支持用户在仿真环境中验证计划,满意后再在物理机器人上执行。针对桌面厨房任务的实验(n=35)表明,该方法提升了用户的感知控制力并增强了机器人操作的透明度。相关系统视频与源代码已公开。

  3. arXiv · 机器人与计算机视觉72

    Shooting for Contact:面向动态运动重定向的接触隐式多射击方法

    针对现有运动重定向方法过于侧重运动学相似性而忽视全身动力学、接触一致性和执行器限制的问题,本文提出一种基于直接模拟的接触隐式多射击(DSMS)框架。该框架将可微分模拟器嵌入非线性规划中,在内部解决接触、摩擦、碰撞及关节限位问题,同时施加跟踪与任务约束,无需预设接触时间表或引入显式接触约束。

  4. arXiv · 机器人与计算机视觉82

    Staged Multi-Agent Training for Human-Exoskeleton Co-Adaptation:基于仿真的学习与真实世界代谢及生物力学验证

    针对人机共适应难题,研究提出分阶段多智能体训练方法,在仿真中联合训练肌肉骨骼人体与双髋外骨骼策略。该策略无需用户特定重训即可转移至物理设备,在八名健康成人实验中,主动辅助使净代谢率较被动模式降低 19.7%,且跨速度与地形保持有效协助能力。

    推荐理由:提出分阶段多智能体训练框架,在仿真中联合优化人体与外骨骼策略,实机验证显示主动辅助降低代谢率 19.7%。

  5. arXiv · 机器人与计算机视觉65

    GeoHAT:面向移动操作的几何自适应混合动作 Transformer

    针对全身移动操作需协调移动底盘与机械臂且面临几何感知挑战的问题,本文提出 GeoHAT 端到端扩散框架。该方法利用轻量傅里叶空间编码器将像素级 3D 坐标映射为几何 token,并通过深度有效性门控融合注入视觉基础模型特征;动作生成部分采用混合全身动作解码器,将臂与底盘分解至不同子空间并分别关注任务相关视觉上下文。

  6. arXiv · 机器人与计算机视觉82

    Crazyflow:一款准确、GPU 加速且可微分的无人机仿真器开源发布

    Crazyflow 是一款旨在推动空中机器人算法开发的统一仿真平台,结合高保真动力学与 JAX 框架实现高速与可微分性,支持百万级环境并行及数千架无人机集群。实验表明其支持无需域随机化的分析梯度策略学习与采样避障,并实现了飞行中强化学习:将物理无人机抛起后仅用 0.37 秒即可训练出恢复策略并将其接住。该工具作为开源资源,为合成数据生成及在线优化提供了新能力。

    推荐理由:Crazyflow 提供 GPU 加速的可微分无人机仿真器,支持百万级环境并行与飞行中强化学习,为空中机器人算法开发提供新资源。

  7. arXiv · 机器人与计算机视觉82

    RoboEvolve:基于有限数据的机器人操作规划器 - 模拟器协同进化框架

    该论文介绍 RoboEvolve 框架,通过耦合视觉语言模型(VLM)规划器和视频生成模型(VGM)模拟器构建相互强化的协同进化循环。系统利用无标签种子图像启动自进化,采用认知启发的双阶段机制:日间探索促进物理基础的行为发现,夜间巩固挖掘“差一点成功”的失败案例以稳定策略优化。

    推荐理由:提出 VLM 规划器与视频生成模拟器协同进化的框架,利用无标签种子图像实现数据高效训练并提升底层控制成功率。

  8. arXiv · 机器人与计算机视觉33

    通用游戏智能体综述:虚拟世界中的基础模型研究

    该综述提出从单一游戏精通迈向同时创造与演化的理论游戏多元宇宙路线图,旨在构建全能通用智能体以铺平 AGI 之路。工作围绕数据集、模型、框架和基准四大支柱展开,试图突破束缚系统的五项根本权衡。项目页面与代码仓库已提供链接供查阅。

  9. arXiv · 机器人与计算机视觉70

    BEACON:通过最佳努力适应进行跨域生成机器人策略联合训练

    论文介绍 BEACON 框架,这是一种理论引导的方法,用于在拥有大量源演示但目标演示有限的情况下训练生成型机器人策略。该方法将跨域联合训练视为差异感知的重要性重加权问题,通过学习基于扩散的视觉运动策略和每样本源权重来优化性能。实验涵盖仿真到仿真、仿真到现实及多源操作设置,结果显示其在鲁棒性和数据效率上优于仅使用目标数据或固定比例联合训练的基线。

  10. arXiv · 机器人与计算机视觉82

    未知动态环境下的可见性感知移动抓取研究

    针对未知且动态环境中机器人需利用有限视场摄像头接近并抓取目标物体的场景,提出统一系统以运行时强制执行可见性约束。该系统包含速度感知注视策略、分层子目标策略及实时全身规划器。

    推荐理由:提出统一系统,在动态环境中通过视线策略与全身规划器解决可见性约束,相比解耦方案显著提升成功率并降低碰撞。

  11. arXiv · 机器人与计算机视觉65

    AffordSim:一种可扩展的功能感知机器人操作数据生成器与基准

    针对现有仿真数据生成器缺乏任务语义或需人工标注的问题,该研究提出 AffordSim,将开放词汇 3D 功能预测集成到基于仿真的轨迹生成中。给定自然语言描述,系统合成场景、发射功能查询并在地面化物体表面采样区域条件化的抓取,再经运动规划筛选可执行候选。

  12. arXiv · 机器人与计算机视觉57

    用于脚本阅读检测的合成眼动数据集:在 3D 模拟器上的真实轨迹重放

    针对视频行为数据标注昂贵且隐私敏感的问题,作者提出利用 3D 眼动模拟器结合无头浏览器自动化技术,将参考视频中的真实虹膜轨迹提取并重放为合成数据。该研究发布了包含 144 个会话(72 个阅读、72 个对话)共 12 小时数据的 final_dataset_v1,评估显示生成轨迹在时间动态上保留了源数据特征(KS D < 0.14)。

  13. arXiv · 机器人与计算机视觉78

    Replicate What Varies:面向域随机化具身仿真的资源共享系统 Patchwork

    论文提出 Patchwork 系统,旨在解决并发运行多个具身仿真环境时因独立构建场景而导致的 CPU 和 GPU 内存占用过高问题。该系统基于 E=T+Δ表示法,将共享模板(包含公共资源)与补丁(记录目标环境的变异)分离,在 robosuite 和 MuJoCo 框架上实现了资源共享运行时。

    推荐理由:提出 Patchwork 系统,通过模板与补丁分离机制共享资源,在 robosuite 和 MuJoCo 上实现多实例 CPU 内存占用降低 88-92%。

  14. arXiv · 机器人与计算机视觉82

    OSWAM:一种具备一步动作生成的有效世界动作模型

    arXiv 论文 OSWAM 针对直接策略世界动作模型需多步去噪导致高延迟的问题,提出通过构建想象 token 初始化扩散过程以提供物理先验,并引入未来条件特权信息蒸馏。实验表明该模型在自动驾驶和具身控制任务上能达到甚至优于需要数十步的基线方法,实现约 3 倍加速,并在 NVIDIA RTX 5090 GPU 上将延迟降至 40ms,支持实时编译推理。

    推荐理由:该工作提出 OSWAM,通过引入想象 token 和特权信息蒸馏实现一步生成,在自动驾驶与具身控制任务上达到多步基线水平并将推理延迟降至 40ms。

  15. arXiv · 机器人与计算机视觉85

    Pretraining Knows What, Simulation Teaches How: Compositional Generalization for Agentic Robotics

    论文介绍 Zero-real Agent Policy (ZAP) 方法,利用预训练的 27B 参数模型进行世界理解推理,再通过仿真任务监督微调与 GRPO 训练运动策略。该方法无需真实机器人数据即可在现实任务中达到 96.7% 成功率,并展现出对新物体、目标及未见物理形态的泛化能力。

    推荐理由:提出 ZAP 方法,利用预训练大模型理解任务并通过仿真学习运动策略,在无真实数据训练下实现高成功率与强泛化。

  16. arXiv · 机器人与计算机视觉78

    Zero-HLM:无需真实机器人数据的通用类人机器人行走操作框架

    论文提出 Zero-HLM 框架,旨在解决类人机器人行走与操作泛化受限于昂贵真实演示的问题。该方法通过高斯引导的智能体重建将手机捕获数据对齐至物理场景,并利用运动与环境共适应机制修正全身参考与交互几何。

    推荐理由:提出 Zero-HLM 框架,利用手机数据与仿真生成零样本迁移演示,将 Unitree G1 任务成功率从 46.7% 提升至 66.7%,无需额外真实机器人数据。

  17. arXiv · 机器人与计算机视觉78

    无 GNSS 环境下无人机群搜索的不确定性感知方法

    该论文研究了在无 GNSS 海洋环境中无人机群的协同搜索问题,其中无人机间测距驱动合作定位,不确定性沿多跳参考链传播,影响连通性、避撞和搜索效果。作者提出一种不确定性感知控制屏障函数框架,通过费希尔信息矩阵近似级联定位协方差,将协方差模型及其变化率纳入连通性和避撞的约束边界中,并采用分层 Voronoi 目标策略保持队形。

    推荐理由:提出不确定性感知控制屏障函数框架,解决无 GNSS 环境下无人机群协同定位误差累积问题。

  18. arXiv · 机器人与计算机视觉78

    从 Sentinel-2 到 1 米影像:基于视觉自回归模型的现实世界×10 跨传感器超分辨率

    该研究针对 Sentinel-2 重访影像与高分一号(Jilin-1)1 米参考影像间的十倍跨传感器超分辨率难题,构建了包含 1.15 万对地理匹配场景的基准数据集。

    推荐理由:提出 CrossVAR 模型,在 Sentinel-2 与 Jilin-1 卫星数据间实现十倍跨传感器超分重建。

  19. arXiv · 机器人与计算机视觉58

    Dream to Assist:面向共享车辆控制的意图条件化世界模型

    论文提出了 Dream2Assist 框架,这是一种结合意图推断的循环状态空间世界模型,用于解决共享控制中主动对齐人类意图与保持可读性的双重挑战。研究通过虚构共演训练辅助策略,在不覆盖人类代理权的前提下支持离散的人类目标,并描述了将世界模型策略转化为安全、以人为本系统的完整部署流程。

  20. arXiv · 机器人与计算机视觉83

    LLM4Robot-Bench:GPT-6 Astra 在机器人操作中的极限有多远?一个分层配对仿真 - 现实基准

    作者引入了 PhysLadder,这是一个用于评估富接触操作中物理交互能力的分层 Sim-Real 基准。其包含的 16 个家庭任务跨越三个累积层级:接触选择与几何对齐(L1)、持续接触内的力调节(L2)以及协调接触重构与力调节(L3)。

    推荐理由:该基准通过分层任务量化了 GPT-6 Astra 在接触密集操作中的能力边界,揭示了从几何对齐到力调节的退化规律。

  21. arXiv · 机器人与计算机视觉38

    PhysCreator:从图像生成具备空间物理属性的 3D 资产

    PhysCreator 是一个统一框架,能从图像直接生成带有空间变化物理属性的仿真就绪 3D 表示。该方法通过体素对齐的隐空间联合建模几何、外观与物理属性,并利用视觉语言蒸馏将语义先验转移至体素级监督。实验表明,相比现有方法,PhysCreator 在视觉质量、物理合理性和泛化能力上均表现更优。

  22. arXiv · 机器人与计算机视觉68

    AuRA:从原子到比特——基于自主机器人交互的数字孪生构建

    arXiv 论文 AuRA 提出一种自动化系统,旨在减少构建物理信息数字孪生时对人力的依赖。该系统结合执行感知的抓取选择、源自机器人状态的夹持器运动测量以及注册的前交互几何与外观先验,实现了无需视觉跟踪的自主数据采集和受损物体信息的恢复。