近日，南加州大學(Universityof Southern California)維特比工程學院的研究人員正在使用生成對抗網絡(GAN)來改善殘障人士的腦機接口。生成對抗網絡(Generative Adversarial Networks, GAN)是一種生成式模型，以建立深度僞造視訊和逼真的人臉而聞名。
該團隊在《NatureBiomedical Engineering》上發表的一篇論文中，成功地教會了 AI 生成合成大腦活動資料。這些資料，特别是稱為尖峰序列的神經信号，可以被輸入到機器學習算法中，以提高腦機接口(BCI)的可用性。
1
存在的問題
BCI 系統通過分析一個人的大腦信号并将該神經活動轉換為指令來工作，允許使用者僅使用他們的思想來控制計算機光标等數字裝置。這些裝置可以改善運動功能障礙或癱瘓患者的生活品質，甚至是那些與閉鎖綜合症(一個人完全有意識，但無法移動或交流)作鬥争的人。
從測量大腦信号的帽子到植入大腦組織的裝置，各種形式的BCI已經可用。從神經康複到治療抑郁症，新的用例一直在被發現。然而，要讓這些系統在現實世界中運作得足夠快、足夠健壯，是具有挑戰性的。
具體來說，為了了解他們的輸入，BCI 需要大量的神經資料和長時間的訓練、校準和學習。
計算機科學教授、該研究的合著者Laurent Itti表示，“如果癱瘓的人不能産生足夠強大的大腦信号，為支援BCI的算法擷取足夠的資料可能會非常困難、昂貴，甚至不可能。”
另一個障礙是：這項技術是特定于使用者的，必須為每個人從頭開始訓練。
2
生成合成神經資料
相反，如果您可以建立合成的神經學資料——人工計算機生成的資料——可以“代替”從現實世界獲得的資料，那會怎麼樣呢?
進入生成對抗網絡。GAN 以建立“深度僞造”而聞名，它可以通過反複試驗來建立幾乎無限數量的新的類似圖像。
Itti 建議Shixian Wen，GANs是否也可以通過生成與真實資料難以區分的合成神經資料，為BCI建立訓練資料。
實驗範例和訓練基線 BCI LSTM 解碼器
在論文中描述的一項實驗中，研究人員首先記錄猴子伸手去拿物體時的一段神經資料。如上圖的實驗範例：猴子坐在視訊螢幕前，抓住控制光标位置的平面操縱搖桿。猴子對螢幕上随機放置的一系列目标進行接觸動作，同時我們使用植入的電極陣列記錄初級運動皮層的神經活動。
研究人員利用這資料訓練一個深度學習尖峰合成器，如下圖b，訓練基線 BCI LSTM 解碼器。記錄的尖峰序列被輸入到 BCI LSTM 解碼器。
訓練基線 BCI LSTM 解碼器
之後，他們使用合成器生成大量類似的（盡管是假的）神經資料。具體步驟如下圖及步驟：
步驟 1. 在 Monkey C (S.1, M.C) 的第 1 次會話的神經資料上訓練尖峰合成器，以學習從運動學(kinematics)到尖峰序列的直接映射，并捕獲嵌入的神經屬性。高斯噪聲和實際運動學(kinematics)被輸入到尖峰(spike)合成器（由發生器和讀出器組成）。尖峰合成器首先使用生成器（雙向 LSTM 遞歸神經網絡）通過雙向時變可泛化的内部表示（符号 t−1、t、t+1）學習嵌入的神經屬性，進而生成逼真的合成尖峰序列。
步驟 2. 調整尖峰合成器以根據真實運動學(kinematics)和高斯噪聲生成适合另一個會話或主題的合成尖峰序列。我們首先當機生成器以保留先前學習的嵌入神經屬性或虛拟神經元。然後，我們使用來自另一個會話或主題（猴子 C (S.2, M.C) 的會話 2 或猴子 M (S.1, M.M) 的會話 1）的有限神經資料替換和微調讀出子產品。微調的讀出子產品将這些神經屬性的捕獲表達調整為适合另一個會話或主題的尖峰序列。
步驟 3. 使用用于微調的相同少量真實神經資料（在步驟 2 中）和大量合成尖峰序列（在步驟 2 中）的組合，為另一個會話或主題訓練 BCI 解碼器。
總體架構
然後，研究小組将合成的資料與少量新的真實資料(要麼來自同一隻猴子在不同的一天，要麼來自不同的猴子)結合起來，以訓練BCI。這種方法使系統啟動和運作比目前的标準方法快得多。事實上，研究人員發現GAN合成的神經資料将BCI的整體訓練速度提高了多達 20 倍。
“不到一分鐘的真實資料與合成資料結合起來，就能達到20分鐘的真實資料效果，”Wen說。
歸一化位置活動圖，建構為作為位置函數的神經活動直方圖
“這是我們第一次看到人工智能通過建立合成尖峰序列來産生思維或運動的訣竅。這項研究是使BCIs更适合實際使用的關鍵一步。”
此外，在一個實驗階段的訓練之後，該系統利用有限的額外神經資料迅速适應新的階段或受試者。
Itti說:“這是一個重大的創新——當這個人想象做不同的動作時，制造出假的資料序列，看起來就像來自同一個人，然後也利用這些資料來幫助學習下一個人。”
除了 BCI 之外，GAN 生成的合成資料可以通過加速訓練和提高性能，在其他需要大量資料的人工智能領域取得突破。
參考：
Shixian Wen et al, Rapid adaptation of brain–computer interfaces to new neuronal ensembles or participants via generative modelling, Nature Biomedical Engineering (2021).
DOI: 10.1038/s41551-021-00811-z
https://medicalxpress.com/news/2021-11-deepfaking-mind-brain-computer-interfaces-people.html