跳到正文
10月16日周五
  1. arXiv · 机器人与计算机视觉72

    面向模糊指令的 affordance 感知交互式决策与执行研究

    arXiv 论文 AIDE 提出一种模仿人类认知过程的双流框架,通过多阶段推理进行决策、加速决策模块负责执行,实现零样本 affordance 分析与模糊指令解释。实验表明该方法在仿真及实机环境中任务规划成功率超 80%,10Hz 闭环连续执行准确率超 95%,优于现有基于 VLM 的方法。

  2. arXiv · 机器人与计算机视觉78

    SHRED:无需专家演示的异质道路用户自博弈框架

    该论文提出了 SHRED 框架,通过大规模异质性自博弈联合训练车辆、行人和骑行者,无需依赖人类驾驶演示或轨迹回放。实验显示,该方法在 Waymo Open Sim Agents Challenge 中优于无演示基线及参考策略方法,且在 nuPlan 地图几何零样本评估下保持真实感;在交互密集的 InterPlan 基准上规划性能全面领先。消融研究表明自博弈中的异质性显著提升了交通真实性和规划效果。

    推荐理由:提出无需专家演示的异质交通参与者自博弈框架,在仿真挑战中优于基线并提升规划性能。

  3. arXiv · 机器人与计算机视觉82

    价值即记忆:面向通用机器人策略的在线价值引导后训练

    针对现实世界通用机器人策略后训练的局部可观测性与离线反馈延迟问题,论文提出了价值即记忆框架。该框架通过价值缓存将近期预测作为任务进度记忆来约束动作选择,并结合离线演示、离策干预与在策 rollout 实现样本高效的在线自主学习。实验显示,在涉及可变性物体和富接触操作的任务中,该方法使平均绝对成功率提升 29.4%,相比匹配的离线训练在线自主学习方案再提升 32.8%。

  4. arXiv · 机器人与计算机视觉83

    CoDA:数据引擎与动作策略的协同进化框架

    论文介绍 CoDA 框架,解决生成式仿真环境物理有效但不利于训练的问题。该框架通过共享异构记忆实现仿真数据引擎与动作策略的协同进化,利用视觉语言批评将验证后的诊断转化为重建困难和辅助训练的生成程序。

    推荐理由:该框架通过共享记忆让仿真引擎与策略协同进化,利用视觉语言批评生成针对性训练程序,在四个操作任务家族中将分布外成功率从 5.3% 提升至 27.6%。

  5. arXiv · 机器人与计算机视觉63

    GeoState:面向 3D 世界建模的视角解耦几何状态学习

    该论文提出 GeoState,一种用于预测性 3D 世界建模的视角解耦几何表示方法。该方法通过场景 tokenizer 聚合多视图基础模型特征以生成与相机无关的场景状态,并由几何解码器利用相机射线查询;自回归世界模型预测未来场景状态,同时单独建模相机运动。

  6. arXiv · 机器人与计算机视觉82

    Sim-to-Real 强化学习实现水培生菜采摘的路径安全目标到达

    arXiv 论文介绍了一种名为 PSA-PPO 的目标条件化局部到达框架,专为温室 NFT 水培生菜采摘设计。该研究在 Isaac Lab 仿真环境中完全训练了策略,无需真实世界微调即成功迁移至物理 UR10e 机械臂。

    推荐理由:该研究提出了一种用于温室水培生菜采摘的强化学习框架,在仿真中训练后直接迁移至真实机械臂,实现了高成功率与低抖动。

  7. arXiv · 机器人与计算机视觉78

    Plans Are Not Executions: Adapting Frozen World-Model Planners to Controller-Induced Execution Shift

    论文指出世界模型规划器在部署时面临计划轨迹与实际执行不一致的问题,直接替换预测轨迹效果有限。作者提出 ExecutionBridge 方法,通过推断控制器特定的执行特征来适配原生自我潜变量展开,同时保持原计划轨迹和冻结的规划器、世界模型及奖励头不变。该方法在 NAVSIM 基准上对未见过的控制器配置和多款冻结规划器均能提升规划性能,尤其在驾驶场景复杂时增益显著。

    推荐理由:针对冻结的世界模型规划器与控制器执行偏差问题,提出 ExecutionBridge 方法以适配执行特征。

  8. arXiv · 机器人与计算机视觉73

    从人类视频到机器人操作的跨形态因果转移

    针对机器人操作模型训练数据稀缺的问题,该方法分析通过因果束视角下的子任务转移机制,提出因果束引导的子任务迁移(CBST)框架。该框架从人类视频中学习操作相关表征,并利用机器人演示将其锚定在任务级语义变量上,从而在不依赖人机动作对应关系的情况下,使机器人能基于自身观测生成操作策略。实验表明该方法在机器人操作基准测试中提升了任务成功率。

  9. arXiv · 机器人与计算机视觉75

    Trajectory-based Diffusion from One-shot Human Video for Generalizable Manipulation

    针对模仿学习依赖遥操作数据收集的问题,本文提出 TDV 框架,利用单一人机视频通过插拔式 6D 姿态估计提取物体轨迹作为模态无关的中间表示。该方法在 RLBench 仿真任务中七个任务成功率接近 100%,并在真实世界实验中实现了从单个人类演示到跨本体机器人的泛化操作。

  10. arXiv · 机器人与计算机视觉75

    Uni-PNP:面向通用物体姿态可达的统一抓握与非抓握策略学习

    针对现有方法将抓握与非抓握操作分离且依赖特定环境支持的局限,该研究提出 Uni-PNP 统一策略,联合学习多种物体的姿态可达任务。方法首先预训练几何编码器以预测接触诱导的物体运动,随后通过两阶段强化学习课程从可抓取对象迁移至不可抓取对象,鼓励发现非抓握交互并整合抓握能力。

  11. arXiv · 机器人与计算机视觉72

    GRASE:基于视频的几何原生真实到仿真智能体场景建模

    该论文提出了 GRASE 框架,旨在将捕获的真实环境视频转换为可编辑的 3D 场景并保留几何布局。不同于传统单步松耦合范式,GRASE 以多视图观测为持续参考,通过拟合建筑外壳、放置生成资产及迭代细化几何与位置来修正渲染证据与捕获不符的假设,从而解决误差传播问题。实验表明该方法在保持跨视图一致性的同时,优于包括 GPT6-Astra 在内的现有最先进方法。

  12. arXiv · 机器人与计算机视觉78

    CarryOn:一种用于个性化与可靠机器人辅助的双环框架

    针对通用视觉语言动作模型缺乏个性化与可靠执行的问题,本文提出了 CarryOn 双环框架以增强冻结的 VLA 策略。规划环通过持续结合用户偏好与场景上下文实现个性化任务选择;执行环主动监督策略 rollout 并屏蔽危险接触,在失败时调用可复用的控制恢复技能。实验表明,该系统将已安全微调 VLA 的安全违规率从 52.6% 降至 6.1%,并将故障恢复成功率从 13% 提升至 80%。

    推荐理由:该工作提出双环架构,在真实机器人与仿真环境中显著降低安全违规率并提升故障恢复成功率。

  13. arXiv · 机器人与计算机视觉78

    LICOA:面向移动空间增强现实的指令条件光学动作学习

    该研究提出 LICOA 框架,将投影光定义为具身动作,通过差速底盘与双自由度转向镜实现大范围移动与局部光束控制。作者构建了包含 150 个任务、7,500 个渲染集成的仿真语料库,并在真实环境中进行了 480 次闭环执行测试。

    推荐理由:构建了移动空间增强现实平台与指令条件光动作模型,在真实环境中验证了将投影光作为具身动作的可行性。

  14. arXiv · 机器人与计算机视觉66

    KODA:基于运动学 - 观测数据对齐的人形机器人学习

    论文提出 KODA 方法,利用可复用的标准轨迹引导合成机器人视角观测并生成控制器特定的全身状态动作监督标签。该方法在四个宇树 G1 人形机器人的操作任务上评估显示,在固定机器人数据的情况下,对于人类演示覆盖但机器人数据缺失的条件,宏观平均成功率分别提升了 45.0 和 46.25 个百分点。

  15. arXiv · 机器人与计算机视觉78

    SOMA:利用四足机器人进行物体堆叠的全身非抓持操作

    针对缺乏专用机械臂的四足机器人在不可预测环境中执行重型物理操作的挑战,本文提出了 SOMA 框架。该框架通过分层强化学习实现全身非抓持的多物体堆叠操作,整合了显式的机器人底座高度控制以解锁全三维推搡策略。

    推荐理由:提出基于四足机器人的全身非抓持堆叠操作框架,在仿真中实现高成功率并验证了零样本仿真到现实迁移。

  16. 智东西 · 机器人82

    斯坦福和哥伦比亚大学发布机器人灵巧操作框架DexAgent

    斯坦福大学和哥伦比亚大学联合发布了基于自进化工具库的机器人灵巧操作框架DexAgent,由李飞飞、吴佳俊等参与研究。该框架能将单条人类第一视角视频转化为多样化的机器人训练数据,在仿真环境中重建物体物理交互并生成复合物理约束的运动轨迹。

    推荐理由:斯坦福与哥伦比亚大学联合发布DexAgent框架,利用AI Agent将人类视频转化为符合物理规律的训练数据,在11项真实任务中平均成功率达63.6%,是基线模型的3.5倍。

  17. arXiv · 机器人与计算机视觉65

    无需数据的世界动作模型持续学习:修正生成回放

    针对预训练视频生成模型构建的世界动作模型在顺序微调时易遗忘旧任务的问题,本文提出无需访问历史训练数据的持续学习方法。核心贡献是修正生成回放技术,通过智能体评估器截断多余生成并过滤物理不一致的动作,解决了原始生成回放滞后于真实数据的问题。

  18. arXiv · 机器人与计算机视觉82

    无需重训的类人机器人行为基础模型测试时计算优化方法

    针对现有类人机器人行为基础模型在执行运动时存在指令执行偏差的问题,该方法提出了一种无需重新训练即可通过测试时计算来改善执行的策略。首先引入测试时命令优化技术,利用闭环仿真对基础模型和机器人动力学进行基于采样的优化,从而调整输入命令以生成更接近期望轨迹的执行结果;在 AMASS 数据集上的三个基础模型实验中,该方法将平均全身位置误差降低了 79% 至 84%。

    推荐理由:提出无需重训即可通过测试时计算优化命令以缩小执行偏差,并在仿真与真机上验证了提升全身定位精度的有效性。

  19. arXiv · 机器人与计算机视觉78

    RealityBench:基于仿真环境的 VLM 人类体力工作文档化能力评测基准

    RealityBench 是一个在 Blender 中构建的包含十一类物理工作环境(如屋顶太阳能安装、车辆维修)的评测基准,旨在评估视觉语言模型记录人类体力工作的能力。

    推荐理由:该研究在 Blender 中构建了十一类物理工作场景,对 26 个 VLM 模型进行文档化能力评测,揭示了其在读取测量值和判断空间关系上的短板。

  20. arXiv · 机器人与计算机视觉78

    Colon3R:基于单目结肠镜视频的跨域三维重建方法

    针对单目结肠镜三维重建中弱纹理、强反光及组织非刚性运动等挑战,该研究提出 Colon3R 框架。该方法基于预训练 VGGT 模型,利用标注的虚拟与仿真数据中的相机、深度和点云几何先验,通过教师网络生成的跨视图监督信号直接迁移至无标注的真实内窥镜视频,无需目标域几何标注。

    推荐理由:该工作提出跨域半监督框架,将标注的虚拟与仿真数据几何先验迁移至无标注的真实内窥镜视频,解决弱纹理与非刚性形变难题。

  21. arXiv · 机器人与计算机视觉38

    X-Safe:通过动作掩码实现机器人臂操作策略的具身无关安全保障

    X-Safe 提出一种无需简化模型或学习安全函数的具身无关保障方法,利用配置空间局部推理与动作掩码为碰撞避免提供形式化概率保证。该方法在两种具身架构、三种策略及仿真与硬件环境中验证,性能退化低于现有最先进方案一半,且实证证实了碰撞避免的形式化保证。

  22. arXiv · 机器人与计算机视觉72

    DIRECT:具身规划中何时何地分配测试时计算资源?

    论文指出盲目扩大 VLM 的测试时计算(如增加思维链深度、模型尺寸或记忆历史)会导致延迟和成本激增,而收益不均甚至递减。为此提出 DIRECT 路由框架,利用多模态场景上下文在闭环代理的每一步动态分配计算预算并选择子任务规划器。实验显示不同缩放轴产生质的能力差异;在 Franka 机械臂(DROID 设置)上验证了零样本操作和长视界链式任务,该方法在保持高成功率的同时将平均延迟降低最多 65%。

  23. arXiv · 机器人与计算机视觉85

    LEGS:通过具身高斯泼溅世界微调免遥操作 VLA 策略以实现人形机器人移动操作

    LEGS 是一种混合仿真器,将网格前景(机器人、物体)叠加到由手持拍摄重建的逼真 3D 高斯泼溅背景上。该系统利用程序化运动原语生成器在无人工遥操作的情况下合成带标签演示,并通过两阶段色彩校准对齐渲染与部署相机。

    推荐理由:提出 LEGS 混合仿真器,利用程序化生成与高斯泼溅背景替代遥操作数据,在 Unitree G1 上实现无需人工演示的策略训练。

  24. arXiv · 机器人与计算机视觉62

    SKATER:基于轮滑摆动的类人机器人高级移动效率研究

    该论文提出了 SKATER 方法,通过在类人机器人每只脚安装四个被动轮并设计特定的轮滑摆动步态(swizzle gait),利用身体惯性实现快速连续滑动。研究开发了基于内在特性的奖励函数深度强化学习控制框架,先在仿真中分析策略,后部署到物理机器人验证。

  25. arXiv · 机器人与计算机视觉68

    VLRLA:通过上下文强化学习的视觉语言动作模型部署期自适应

    VLRLA 是一个通用框架,为现有的视觉语言动作(VLA)模型赋予上下文强化学习能力,使其在部署期间利用历史观测、动作、奖励和终止信号进行策略微调。该方法保持模型参数固定,逐步优化动作生成并提升任务成功率,同时兼容多种学习历史构建策略与训练流程。实验表明,VLRLA 能在仿真环境中系统性地探索学习特性,并在真实世界部署中适应未见过的场景。

  26. arXiv · 机器人与计算机视觉65

    面向 3D 高斯泼溅的端到端多视图特征编码方法

    该论文提出 MFGS 框架,通过端到端训练直接从输入图像提取多视图特征并编码为紧凑比特流,无需显式生成完整高斯表示再进行压缩。相比传统流程,该方法在 RE10K、ACID 和 DL3DV 数据集上实现 99.76% 至 99.86% 的码率节省,总 GMACs 降低 52-55%,端到端速度提升约 12 倍。

  27. arXiv · 机器人与计算机视觉82

    Player-1:通过合成经验学习游戏控制

    该论文介绍 Player-1 框架,旨在超越演示数据限制,通过学习合成经验来提升计算机智能体的游戏控制能力。研究扩展了动作空间以支持相对指针运动和复合操作,并在 6,044 条精选轨迹上进行监督微调初始化。

    推荐理由:该工作提出 Player-1 框架,利用合成数据与复合动作提升游戏控制能力,为通用数字代理训练提供新路径。

  28. arXiv · 机器人与计算机视觉50

    PingpongDuo:具备安全团队协作的敏捷人形乒乓球双打研究

    论文介绍 PingpongDuo 框架,通过团队级规划器联合选择站位并利用风险估计过滤危险提案以保护当前击球者,个体级结合步法与挥拍技能实现快速移动与精准控制。在仿真中相比最先进基线提升 13.2% 的接球成功率且定位误差约 2 厘米;实机实验中单机器人完成 2.15 米往返周期耗时 2.4 秒,峰值速度 2.23 米/秒,两台机器人能维持超过 10 次严格交替击球。

  29. arXiv · 机器人与计算机视觉68

    KinoGen:基于运动学约束的可定制人形机器人行走 - 操作参考生成框架

    论文提出了 KinoGen 框架,通过结合预训练视频生成器与目标机器人及物体的校准渲染,在无需人体代理或重定向的情况下合成符合机器人构型空间的行走与操作参考。该方法利用身体、手部及物体先验初始化重建,并通过跨视图证据直接优化细化结果。

  30. arXiv · 机器人与计算机视觉82

    Look Before You Restore:行动前预测的代理图像复原框架

    论文介绍 PreActIR 框架,该框架通过工具条件世界模型在执行前预测残差退化、图像质量及风险,并由独立验证器决定是否提交或回滚输出。实验显示,在固定候选池与预算下,该方法比试错方法减少 42.5% 真实工具调用和 63.4% 被拒绝调用,同时提升 Y-PSNR 0.92 dB。材料为 arXiv 预印本,处于审稿中。

    推荐理由:提出 PreActIR 框架,在固定候选池与预算下比试错方法减少 42.5% 真实工具调用并提升 Y-PSNR。

  31. arXiv · 机器人与计算机视觉62

    任意机器人身体的后训练数据:重定向物体而非手部

    该研究提出利用手机录制的人类演示作为不同结构机器人的后训练数据,核心在于重定向物体轨迹而非手部动作。系统在仿真中验证了 42 次采集在 8 个机器人上的结果,其中 31.2% 通过、52.2% 失败且部分因运动学不可行被拒绝。目前该方法仅用于筛选适合后训练的数据集,尚未训练出具体策略,真实机器人的执行效果需下游仿真到现实的迁移验证。

  32. arXiv · 机器人与计算机视觉73

    AutoRSR:面向可扩展机器人学习的自动实境转仿真数据生成框架

    AutoRSR 是一个高度自动化的实境转仿真再转实境框架,能将扫描的真实工作空间转换为可复用的具身仿真资产和可扩展的操作数据。给定多视角观测、机器人状态及开放词汇语义查询,该框架重构工作空间并提取物体资产,自动将重建场景注册到机器人基座标系。

  33. arXiv · 机器人与计算机视觉72

    VIGOR-MPC:基于视觉的目标调节 MPC 方法

    论文提出 VIGOR-MPC 框架,旨在解决仅依赖车载视觉进行环境控制时的感知噪声与算力受限问题。该方法采用学生 - 教师架构,在仿真环境中利用全状态知识的长视界 MPC 作为教师模型,通过多轨迹公式确保智能体保持在视野内;学生模型则基于多级别循环映射,从感知模块产生的噪声和遮挡信息中推断代价参数以复现教师行为。

  34. arXiv · 机器人与计算机视觉72

    事件相机与帧相机用于合成孔径成像的仿真对比研究

    该研究通过仿真对比了事件相机与帧相机在合成孔径成像(SAI)中的表现。结果显示,在高速(25m/s)明亮场景下,帧相机因采样不足无法去除遮挡物,而事件相机能成功重构目标;但在低光照(5lux)或低速条件下两者性能相当。研究还指出事件相机的数据率随场景亮度动态变化,在需要去遮挡的高亮场景中数据量最高,证明了其按需采样的特性。