跳到正文
arXiv · 机器人与计算机视觉· YaoYang Liu, Jun Dai, ZhuoShi Tang, Weijun Sun, Xiaozhao Fang, Jie Wen·· 14 小时前AI 评分53

从神经令牌到语言:用于脑到文本生成的双视图 EEG 语义桥接

From Neural Tokens to Language: Dual-View EEG Semantic Bridging for Brain-to-Text Generation

AI 导读

该论文提出一种双视图语义令牌桥接框架,旨在利用原始图像和素描图作为互补视觉监督,学习面向原始信号和素描图的 EEG 语义令牌流。研究引入分支特定语义查询桥接,将结构化神经表示聚合为紧凑的语义槽并转换为 LLM 兼容的软提示。实验展示了在多个 LLM 骨干网络上的强分类性能和具有竞争力的 EEG 到文本生成能力。

来源:arXiv · 机器人与计算机视觉 · arxiv.org