跳到正文
arXiv · 机器人与计算机视觉· Chuyang Ye, Qinting Jiang, Jingyan Jiang·· 29 天前精选AI 评分78

SenseAlign:通过语言理解视觉与触觉的测试时适应方法

SenseAlign: Understanding Vision and Touch through Language at Test Time

AI 导读

SenseAlign 是一种针对触觉 - 视觉 - 语言模型的测试时适应方法,旨在解决部署中因环境变化或硬件差异导致的模态不可靠问题。该方法利用候选类别的文本嵌入比较累积观测以评估模态可靠性,并通过特征修正分离预测类别与替代选项。所有编码器保持冻结,仅使用无标签历史数据即可在自然偏移和受控腐蚀下恢复识别性能。

推荐理由

提出在测试时利用文本嵌入进行模态对齐与特征修正,以应对光照或传感器变化导致的性能下降。

来源:arXiv · 机器人与计算机视觉 · arxiv.org