跳到正文
arXiv · 机器人与计算机视觉· Diana Cerdas-Vargas, Alejandro Romero, Richard J. Duro·· 23 天前AI 评分55

从语言到驱动:一种通过大语言模型对齐自主机器人与人类目的的跨模态框架

From Language to Drives: A Multimodal Framework for Aligning Autonomous Robots with Human Purposes

AI 导读

该研究探索了利用大语言模型和视觉语言模型的通用与文化知识,建立跨模态交互式对齐过程,将人类自然语言表达的目的转化为机器人的任务与驱动以引导其行为。系统分为语义对齐、任务生成和驱动建模三层结构,支持双向交互循环:人类输入定义高层目的,机器人利用多模态信息将其扩展为可执行任务并维持意图对齐。在仿真和物理机器人上的实验表明该过程能产生有效任务和行为,支持交互式场景下的人机对齐。

来源:arXiv · 机器人与计算机视觉 · arxiv.org