arXiv · 机器人与计算机视觉· Jusuk Lee, Seungjae Lee, Jonghun Shin, Hoseong Jung, Sungha Kim, Daesol Cho, H. Jin Kim, Jia-Bin Huang, Furong Huang·· 15 天前精选AI 评分84
DynaFLIP:一种基于三模态动力学引导的机器人感知表征框架
DynaFLIP: Rethinking Robotics Perception via Tri-Modal-Dynamics Guided Representation
AI 导读
论文介绍 DynaFLIP 框架,旨在解决传统机器人学习管道依赖静态视觉编码器、将运动理解推给下游策略的问题。该方法构建图像 - 语言-3D 流三元组作为训练监督,鼓励三种模态在共享超球空间中占据较小的单纯形体积以增强对齐,并结合余弦正则化与对比目标以避免几何歧义和平凡坍缩。
推荐理由
该工作提出将运动理解上移至感知层,通过多模态监督构建动力学感知表征,在跨分布场景下提升机器人泛化能力。
来源:arXiv · 机器人与计算机视觉 · arxiv.org