點擊上面"腦機接口社區"關注咱們python
更多技術乾貨第一時間送達web
腦電圖(EEG)地形圖表徵(Electroencephalography topographical representation, ETR)能夠監測區域大腦活動，是一種能夠用於探索皮層機制和聯繫的技術。然而，如何找到一種魯棒的方法來支持多目標對象、多通道的具備低信噪比的高維EEG數據是一個挑戰。爲了解決這一問題，廈門大學、海西研究院泉州裝備製造研究所、華中師範大學以及雲南民族大學等多所研究機構的研究人員聯合提出了一種新的ETR能量計算方法，用於使用卷積神經網絡學習大腦活動的EEG模式。它可以在一個通用的學習模型中識別多個對象。具體而言，研究人員在實驗中使用裏來自2008年腦機接口(BCI)競賽IV-2a的數據集進行五類分類，其中包含四個運動想象動做和一個放鬆動做。在該項研究中，提出的分類框架的平均準確率比最好的分類方法高10.11%。另外，研究人員經過對ETR參數優化的研究，獲得了一種用於BCI應用的用戶界面，並實現了一種實時優化方法。算法
本研究的主要過程涉及生成ETR特徵圖並使用它們來訓練CNN模型，從而實現對不一樣目標對象中多個動做的準確分類。如圖1所示，首先，對每一個EEG訓練或評估時段的數據進行分析以得到事件的相應位置和持續時間，並記錄每一個事件的類別。以後根據事件，得到了表明連續數據的時間點試驗集的epoch。而後選擇時間段和頻帶以計算每一個通道值以生成ETR。最後，基於CNN，輸入ETR的空間功率關係以經過卷積層提取一些特定特徵。安全
圖1基於運動想象的多類、多目標對象EEG信號分類方法的流程圖微信
上圖爲基於運動想象的多類、多目標對象EEG信號分類方法的流程圖：網絡
(1)從多通道腦電圖信號中提取做爲事件、epoch和腦電圖時間序列值;數據結構
(2)將訓練標籤和測試標籤按照事件、動做和時間域(這是分類的預測參數之一)進行標記後生成ETR map;架構
(3)將ETR map和分類標籤輸入循環卷積網絡進行學習和分類;app
(4)創建多種訓練和分類方案，分析其優缺點;框架
(5)調整參數，包括特徵值生成和機器學習，尋找最優分類器;
(6)找到最優分類並輸出。
考慮到數據存儲，操做速度以及不想改變的電極實際能量分佈，研究人員將地形圖繪製爲生成的尺寸大小爲200 x 200像素的圖像。爲了比較每一個頻段的地形圖組，在生成圖像以前，根據功率值統一功率條，以下表所示。
上表列出了由六種不一樣算法獲得的功率條值。這些值生成不一樣類型的ETRs，以下圖所示。
圖2.使用六種不一樣的算法從相同頻段的相同EEG數據生成的地形圖
網絡架構
研究人員在該項研究中設計了ETRCNN網絡，其網絡架構以下：
圖3. ETRCNN架構概述
如上圖所示，網絡由四個部分組成。
第一部分爲：一個輸入層將ETR數據結構標準化；
第二部分爲，三個CNN層包括整流線性單元(ReLU)和最大池化層；
第三部分爲，Flatten層將多維數據」拍平」爲一維；
第四部分，分類結構包括兩個全鏈接層，具備一個sigmoid激活函數和一個softmax輸出層，最終能夠得到五類的判斷權值。
網絡由每一層中的一個或幾個map(通常只feature map，叫特徵圖)組成。每一個map表明通過卷積和池化的獲得的層實體，它適合於從輸入數據中學習特徵。而後，做爲下一層的輸入，最大池化層最終將鏈接到全鏈接層，在此處經過softmax計算完成分類。層的關鍵參數詳細描述以下:
輸入歸一化:爲了安全起見，根據寬度和高度參數對輸入進行檢查和調整大小。考慮到圖像的深度通常爲3,CNN的輸入是一個矩陣集，其中每一個數據的張量形狀爲64×64×3。所以，訓練ETRs包含了9個受試者的訓練數據集和6個時間間隔。CNN學習了六種訓練模型，而後找出最佳的模型。
模型架構：ETRCNN學習框架採用了一個輸入層，三個ReLU和最大池化的CNN層，每一個層中有兩個徹底鏈接的層，其後是一個dropout層，以及一個softmax輸出層，用於分類(見圖3)。
分類器選擇：在ETRCNN框架中，根據運行數據結構經驗選擇算法1的內部參數和算法策略。當模型的訓練精度和驗證精度高於設置的參數，而且驗證損失低於設置的參數時，會將當前模型複製到文件夾中。根據判斷策略以及每一個事件的epoch，生成了一組ETR圖像而後利用訓練好的模型進行預判斷。而後，對五類中的預先肯定量進行統計，以數量最大的先驗做爲最終決策值(見算法1)。
本文利用2008年BCI競賽IV-2a腦電數據集對所提方法進行了驗證。它由9個受試者的腦電圖數據組成，這些受試者執行四項運動想象任務，即在提示睜眼、閉眼和動眼任務後對左手、右手、雙腳和舌頭運動的想象。如圖4所示，在每一個會話開始時，進行三次EOG試驗，隨後進行六次MI試驗，圖5 爲2008 BCI競賽IV-2a的22個電極對應於國際10-20系統。
圖4
圖5 10-20系統
每一個受試者的訓練集(如表3所示)和測試集(如表4所示).
對來自2008年BCI競賽IV-2a數據集的每一個受試者，在9 ~ 30Hz時每1.0 sETR與9 ~ 20Hz時每1.0 s ETR進行分類精度比較。兩種形狀的ETR的一些實例如圖6所示。在相同條件下和不一樣條件之間存在一些實例的變體。很明顯，單通道輸入數據失去了電極之間的空間關係。然而，每一個電極的時序信息被保留。
圖6 在2008年BCI IV-2a數據集中，來自受試者3的9 ~ 30Hz和9 ~ 20HzETR的幾個實例。
在1.0 s的窗口中，這三個狀況分別從右、舌和腳的試驗中產生兩個形狀
爲了便於比較兩個波段的ETR分類準確率，咱們將這些ETRs輸入到CNN中，在同一受試者的同一時間窗口對模型進行訓練。圖7顯示了兩種不一樣頻段模型下的分類性能。因而可知，在9 ~20 Hz頻段產生的模型性能要高於在9 ~30 Hz頻段產生的模型性能。
圖7.在9〜30 Hz和9〜20 Hz ETR中的分類性能評估。
x軸表示分類器的迭代次數，y軸表示分類精度。
研究人員還在ETRCNN的每一個卷積層中提取中間特徵，並進行了可視化，以下圖所示，左邊和右邊的子圖分別來自於2008年BCI競賽IV-2a數據集中受試者9的左手和右手運動的MI;這些信號從9-20 Hz的頻帶過濾，並分割爲1 s的時間窗口大小。
圖11 ETRCNN在每一個卷積層中提取中間特徵可視化
經過分析輸出層神經元的最大激活量，能夠發現對應於某一類別的最具表明性的原型樣本(圖12)。激活最大化和生成模型的組合成功捕獲了與每一個類別相對應的中心特徵表示。從圖12中能夠看到，與右手MI相比，左手MI的最明顯的表示區域在感受關聯區域的右手側。另外，腳和舌MIs集中在初級運動皮層，初級體感皮層和感受關聯區域的中間區域，而且舌MI的反射區域比足MI的反射區域寬。這些結果證實，將激活最大化與生成模型相結合的方法能夠生成更現實和可解釋的原型樣本。這對於下一步構建高質量的模型庫很是有幫助。
圖12 經過ETRCNN模型在每一個MI動做中生成具備激活最大化的判別原型。
藍色線圈標記最重要的最大特徵區域。
研究人員在本文中提出了一種新的ETR能量計算方法，用於使用卷積神經網絡學習大腦活動的EEG模式。它可以在一個通用的學習模型中識別多個對象。具體而言，研究人員在實驗中使用裏來自2008年腦機接口(BCI)競賽IV-2a的數據集進行五類分類，其中包含四個運動想象動做和一個放鬆動做。在該項研究中，提出的分類框架的平均準確率比最好的分類方法高10.11%。
參考信息
Learning EEG topographical representation for classification via convolutional neural network
文章來源於網絡，僅用於學術交流，不用於商業行爲
如有侵權及疑問，請後臺留言，管理員即時刪侵！
更多閱讀
如何對單手和雙手協同運動方向進行神經表徵和解碼？北理工研究團隊給出了相關方案
Nature子刊 | 研究人員對特定行爲的大腦信號模式進行分離和解碼
【基於深度學習的腦電圖識別】數據集篇：腦電信號自動判讀的大數據
腦機接口拼寫器是否真的安全？華中科技大學研究團隊對此作了相關研究
腦機接口BCI學習交流QQ羣：515148456
微信羣請掃碼添加，Rose拉你進羣
(請務必填寫備註，eg. 姓名+單位+專業/領域/行業)
長按關注咱們
歡迎點個在看鼓勵一下
本文分享自微信公衆號 - 腦機接口社區（Brain_Computer）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。