跳到正文
arXiv · 机器人与计算机视觉· Meraj Mammadov, Pedro Zuidberg Dos Martires, Johannes Andreas Stork·· 9 天前精选AI 评分78

RAIL:面向学生兼容的教师策略的表征对齐模仿学习

RAIL: Representation-Aligned Imitation Learning for Student-Compatible Teacher Policies

AI 导读

针对强化学习中高维观测与稀疏奖励的挑战,本文提出 RAIL 方法,通过在教师训练阶段利用对比学习构建师生共享的潜在表征空间,使教师策略仅基于该空间学习可被学生复现的行为。该方法无需修改奖励函数或事后微调学生策略,即在多个环境中优于强基线并超越直接从原始观测进行强化学习的表现,同时支持通过仅训练教师实现对新任务的零样本迁移。

推荐理由

提出在教师策略训练中引入对比学习以对齐表征,解决因信息不对称导致的模仿差距问题。

来源:arXiv · 机器人与计算机视觉 · arxiv.org