arXiv · 机器人与计算机视觉· Till Hielscher, Fabio Scaparro, Kai O. Arras·· 23 天前精选AI 评分78
利用多模态基础模型进行上下文感知的表达性运动行为生成与调制
Context-Aware Generation and Modulation of Expressive Motion Behavior using Multimodal Foundation Models
AI 导读
该研究提出一种新方法,利用多模态(文本、音频、视频)上下文描述自动生成交互中复杂的全身手势序列。方法基于动态运动原型的统一数学实现,结合多模态基础模型生成参数化且高度上下文感知的动作变体。系统已集成到连续控制框架中,并通过知识蒸馏学习出更小、更高效的模型。用户研究表明,生成的运动在交互上下文中对齐度优于非调制或 API 级条件,且在不同机器人构型上展示了通用性。
推荐理由
提出基于动态运动原型的上下文感知生成方法,在类人平台上验证了交互对齐优势并展示了跨构型通用性。
来源:arXiv · 机器人与计算机视觉 · arxiv.org