跳到正文
arXiv · 机器人与计算机视觉· Huajian Zeng, Lingyun Chen, Jiaqi Yang, Yuantai Zhang, Fan Shi, Peidong Liu, Xingxing Zuo·· 23 天前AI 评分72

FlowHOI:面向灵巧操作的语义 grounded 手物交互生成方法

FlowHOI: Flow-based Semantics-Grounded Generation of Hand-Object Interactions for Dexterous Robot Manipulation

AI 导读

针对现有视觉语言动作模型在手物交互结构表示上的不足,该研究提出 FlowHOI 框架,通过两阶段流匹配生成语义 grounded、时序连贯的手物交互序列。该方法解耦几何抓取与语义操作,利用紧凑的 3D 场景 token 和运动文本对齐损失进行条件控制,并引入重建管道从大规模第一人称视频中恢复手物轨迹以解决高保真监督稀缺问题。

来源:arXiv · 机器人与计算机视觉 · arxiv.org