跳到正文
arXiv · 机器人与计算机视觉· Bin Li, Xing Zhu, Jingya Wang·· 4 小时前AI 评分63

MixReact:基于多模态线索的物理驱动人形机器人反应控制框架

MixReact: Physics-Based Reactive Humanoid Control from Multimodal Cues via a Discrete-Continuous Mixture of Transformers

AI 导读

论文提出了 MixReact,这是首个统一的物理驱动人形机器人反应控制框架,能够根据文本、音频和视频等多模态线索生成语义恰当且可执行的物理行为。该框架集成了 DisCo-MoT 进行状态预测和 HAT 进行物理执行,在保真度、多样性和物理一致性上均优于基线。代码即将开源。

来源:arXiv · 机器人与计算机视觉 · arxiv.org