arXiv · 机器人与计算机视觉· Vimarsh Shah, Dulanga Weerakoon, Ajinkya Deshpande, Saksham Agarwal, Nilesh Bhatia, Neel Kiran Naik, Parth Shah, Sravan Danda, Sanjay E. Sarma, Archan Misra, Vigneshwaran Subbaraju, Sougata Sen·· 15 天前AI 评分58
GVT3D:手势 - 视觉 - 文本 Token 增强用于 3D 具身参考理解
GVT3D: Gesture-Vision-Text Token Enrichment for 3D Embodied Reference Understanding
AI 导读
该论文提出 GVT3D 模型以解决 3D 具身参考理解中跨模态对齐难与计算成本高问题。方法包括在共享嵌入空间联合建模语言、手势和视觉输入的 Embodied Fusion 模块,以及针对点云粗粒度区域的注视(foveation)处理策略。
来源:arXiv · 机器人与计算机视觉 · arxiv.org