arXiv · 机器人与计算机视觉· Zainab Afolabi, Vadim Selyutin, Zhao Gao, Babs Khalidson, Mohamed Ghoneim·· 2026-10-16AI 评分38
视觉能从音频学习多少物理?探究与蒸馏阻尼结构研究
How Much Physics Can Vision Learn from Audio? Probing and Distilling Damping Structure
AI 导读
该研究通过冻结编码器发现,仅用单帧冲击视频(CLIP)对质量因子 Q 的排序相关系数仅为 0.28,而音频嵌入可达 0.73。经四帧视觉输入蒸馏音频教师后,留一材料测试的相关性从 0.234 提升至 0.338,验证了可见动态可弥补单帧缺失。论文已获 NeurIPS 2026 两个研讨会接收,代码与数据许可状态待定。
来源:arXiv · 机器人与计算机视觉 · arxiv.org