摘要:脑功能成像技术可以反映人体运动时的大脑生理变化,进而解码运动状态,但单模态信号反映的大脑生理信息存在局 限性。 为此,本文提出了一种基于 EEG 和 fNIRS 信号的时频特征融合与协同分类方法,利用脑神经电活动和血氧信息的互补 特性提高运动状态解码精度。 首先,提取 EEG 的小波包能量熵特征,使用双向长短期记忆网络(Bi-LSTM)提取 fNIRS 的时域特 征,将两类特征组合得到包含时频域信息的融合特征,实现 EEG 和 fNIRS 不同层次特征的信息互补。 然后,利用 1DCNN 提取 融合特征深层次信息。 最后,采用全连接神经网络进行任务分类。 将所提方法应用于公开数据集,本文所提的 EEG-fNIRS 信号 协同分类方法准确率为 95. 31% ,较单模态分类高 7. 81% ~ 9. 60% 。 结果表明,该方法充分融合了两互补信号的时频域信息,提 高了对左右手握力运动的分类准确率。