主页期刊介绍编委会编辑部服务介绍道德声明在线审稿编委办公English
2022年专刊出版计划 微信服务介绍 最新一期:2021年第4期
     
在线出版
各期目录
纸质出版
分辑系列
论文检索
论文排行
综述文章
专刊文章
美文分享
各期封面
E-mail Alerts
RSS
旧版入口
中国科学院软件研究所
  
投稿指南 问题解答 下载区 收费标准 在线投稿
陈景霞,郝为,张鹏伟,闵重丹,李玥辰.基于混合神经网络的脑电时空特征情感分类.软件学报,0,(0):0
基于混合神经网络的脑电时空特征情感分类
Emotion classification of spatiotemporal EEG features using hybrid neural networks
投稿时间:2020-04-02  修订日期:2020-05-21
DOI:10.13328/j.cnki.jos.006123
中文关键词:  EEG|情感识别|二维网状|时空特征|卷积循环神经网络|混合模型
英文关键词:EEG|emotion recognition|2D mesh-like|spatiotemporal feature|convolutional recurrent neural networks|hybrid model
基金项目:国家自然科学基金青年基金(61806118);陕西科技大学科研启动基金(2020BJ-30)
作者单位E-mail
陈景霞 陕西科技大学 电子信息与人工智能学院, 陕西 西安 710021 chenjx_sust@foxmail.com 
郝为 陕西科技大学 电子信息与人工智能学院, 陕西 西安 710021  
张鹏伟 陕西科技大学 电子信息与人工智能学院, 陕西 西安 710021  
闵重丹 陕西科技大学 电子信息与人工智能学院, 陕西 西安 710021  
李玥辰 陕西科技大学 电子信息与人工智能学院, 陕西 西安 710021  
摘要点击次数: 326
全文下载次数: 421
中文摘要:
      提出一种新的脑电图(electroencephalograph,EEG)数据表示方法,将一维链式EEG向量序列转换成二维网状矩阵序列,使矩阵结构与EEG电极位置的脑区分布相对应,以此来更好地表示物理上多个相邻电极EEG信号之间的空间相关性.再应用滑动窗将二维矩阵序列分成一个个等长的时间片段,作为新的融合了EEG时空相关性的数据表示.还提出级联卷积-循环神经网络(CASC_CNN_LSTM)与级联卷积-卷积神经网络(CASC_CNN_CNN)两种混合深度学习模型,二者都通过CNN卷积神经网络从转换的二维网状EEG数据表示中捕获物理上相邻脑电信号之间的空间相关性,而前者通过LSTM循环神经网络学习EEG数据流在时序上的依赖关系,后者则通过CNN卷积神经网络挖掘局部时间与空间更深层的相关判别性特征,从而精确识别脑电信号中包含的情感类别.在大规模脑电数据集DEAP上进行被试内效价维度上两类情感分类实验,结果显示本文提出的CASC_CNN_LSTM和CASC_CNN_CNN网络在二维网状EEG时空特征上的平均分类准确率分别达到93.15%和92.37%,均高于基准模型和现有最新方法的性能,表明该模型有效提高了EEG情感识别的准确率和鲁棒性,可以有效的应用到基于EEG的情感分类与识别相关应用中.
英文摘要:
      In this paper, we propose a new data representation of electroencephalogram (EEG), which transforms 1D chain-like EEG vector sequences into 2D mesh-like matrix sequences. The mesh structure of the matrix at each time point corresponds to the distribution of EEG electrodes, which could better represent the spatial correlation of EEG signals among multiple physically adjacent electrodes. Then, the sliding window is used to divide the 2D meshes sequence into segments containing equal time points, and each segment is seen as an EEG sample integrating the temporal and spatial correlation of raw EEG recordings.We also propose two hybrid deep learning models: cascaded convolutional recurrent neural network (CASC_CNN_LSTM) and cascaded double convolutional neural network (CASC_CNN_CNN). Both of them use the CNN model to capture the spatial correlation between physically adjacent EEG signals from the converted 2D EEG meshes. The former uses the LSTM model to learn the time dependency of the EEG sequence, and the latter uses another CNN model to extract the deeper discriminative features of local time and space. Extensive binary emotion classification experiments in valence are carried out on a large scale open DEAP dataset (32 subjects, 9,830,400 EEG recordings). The results show that the average classification accuracy of our proposed CASC_CNN_LSTM and CASC_CNN_CNN networks on spatio-temporal 2D mesh-like EEG sequence reaches 93.15% and 92.37%, respectively, which significantly outperform the baseline models and the state-of-the-art methods. It demonstrates that our proposed method effectively improves the accuracy and robustness of EEG emotion classification due to its ability of jointly learning deeper spatio-temporal correlated features using hybid deep neural network.
HTML  下载PDF全文  查看/发表评论  下载PDF阅读器
 

京公网安备 11040202500064号

主办单位:中国科学院软件研究所 中国计算机学会 京ICP备05046678号-4
编辑部电话:+86-10-62562563 E-mail: jos@iscas.ac.cn
Copyright 中国科学院软件研究所《软件学报》版权所有 All Rights Reserved
本刊全文数据库版权所有,未经许可,不得转载,本刊保留追究法律责任的权利