IEEE JBHI |?突破多模態(tài)腦機接口數(shù)據(jù)瓶頸:生成式AI賦能功能超聲圖像高保真重建
腦機接口(BCI)作為腦科學、信息科學、材料科學等多學科交叉的核心前沿方向,致力于建立大腦與外部設(shè)備的直接通信通道。由于在時間分辨率和采集便攜性上的優(yōu)勢,腦電是當前腦機接口的主要數(shù)據(jù)模態(tài)。然而,從神經(jīng)流形的視角看,大腦語義并非盤踞在某一低維“腦電切片”上,而是鑲嵌在隨時間快速彎曲、維度可達數(shù)十甚至上百的聯(lián)合流形之中。單模態(tài)腦電僅相當于對該高維流形做一次斜向投影,會造成腦機接口解碼系統(tǒng)不可逆的語義信息損失。要還原神經(jīng)流形的真實拓撲,需要同步引入血流動力學、代謝、連接組學等額外維度,把電生理信號與功能磁共振(fMRI)、功能超聲(FUS)、fNIRS等異構(gòu)數(shù)據(jù)拼成一張“多模態(tài)聯(lián)合圖”,才能在更高維的嵌入空間里重新展開被壓縮的語義流形,顯著降低解碼誤差并增強BCI系統(tǒng)對環(huán)境噪聲擾動的魯棒性。
對于各模態(tài)的神經(jīng)信號采集,研究人員不得不在采集成本、時空分辨率和侵入性之間做出妥協(xié)(圖1)。以非侵入式技術(shù)為例,腦電(EEG)和腦磁(MEG)雖然擁有250-1000 Hz甚至更高的毫秒級時間分辨率,但其空間分辨率往往局限在厘米級別;功能核磁共振(fMRI)雖然能實現(xiàn)全腦覆蓋且空間分辨率可達毫米級,但其低至0.5-1 Hz的分辨率和BOLD信號延遲性使其難以捕捉瞬態(tài)神經(jīng)活動。而對于侵入式技術(shù),以猶他電極(Utah Array)為代表的皮層內(nèi)電極雖能實現(xiàn)單細胞級的極高精度,但極高的侵入性風險極大地限制了其廣泛應(yīng)用。相較而言,功能超聲成像(fUS)憑借其兼具微創(chuàng)性與高時空分辨率的優(yōu)勢脫穎而出,能夠在大腦硬膜外(微創(chuàng))條件下,提供50-500微米的高空間分辨率和2-100Hz的較高時間分辨率,顯著提升多模態(tài)腦機接口系統(tǒng)對大腦意圖的解析能力。盡管潛力巨大,但fUS的應(yīng)用推廣面臨挑戰(zhàn): 受限于較高的采集成本和復雜的倫理安全審查和操作流程,獲取多樣化的人類大腦 fUS 樣本極為困難。這種樣本匱乏直接導致下游的解碼模型缺乏足夠的訓練樣本,難以保證解碼模型的泛化能力和公平性,從而嚴重阻礙了多模態(tài)腦機接口的落地和推廣。
為了突破這一瓶頸,中國科學院深圳先進技術(shù)研究院的王書強課題組提出了一種名為UltraVAR的創(chuàng)新解決方案。這是首個專門為人腦功能超聲成像設(shè)計的fUS數(shù)據(jù)增強框架,其核心在于利用先進的視覺自回歸生成技術(shù)來實現(xiàn)高質(zhì)量人腦fUS增強。該項研究成果發(fā)表在國際知名期刊IEEE Journal of Biomedical and Health Informatics上。
UltraVAR通過層級化預(yù)測機制重建人腦血管的空間拓撲特征,其核心意義在于能夠精準捕捉神經(jīng)活動誘發(fā)微細血管血流狀態(tài)改變的動態(tài)因果關(guān)聯(lián)。該框架在臨床數(shù)據(jù)受限的環(huán)境下構(gòu)建出高保真且符合解剖學規(guī)律的血流動力學特征空間,并確保生成的微細血管在主要運動皮層和后頂葉皮層等核心功能區(qū)保持生理上的完整性。所提出的UltraVAR為多模態(tài)腦機接口解碼系統(tǒng)訓練提供了多樣化的低成本訓練樣本,突破了解碼模型因fUS數(shù)據(jù)匱乏而面臨的泛化能力弱與解碼公平性差等瓶頸。
UltraVAR在多個下游腦解碼任務(wù)的實驗驗證中展現(xiàn)出優(yōu)異性能。例如在大腦狀態(tài)識別的任務(wù)場景中,將解碼準確率由80.0%提升至88.9%,證明了UltraVAR在提升腦解碼能力方面的應(yīng)用價值。下一步研究團隊將構(gòu)建融合神經(jīng)動力學和血流動力學約束的基礎(chǔ)模型,以強化UltraVAR對大腦高維流形的深度表征,實現(xiàn)跨被試-強泛化性的多模態(tài)腦機接口解碼,持續(xù)推動多模態(tài)腦機接口的落地和應(yīng)用。
數(shù)字所陳緒行與李卓為本文共同第一作者,王書強研究員為論文通訊作者。該研究工作得到了國家自然科學基金、國家重點研發(fā)計劃等科技項目資助。

圖1?主流神經(jīng)信號采集技術(shù)在時空分辨率、侵入性及覆蓋范圍上的對比

圖2 UltraVAR視覺自回歸框架示意圖

圖3 不同生成模型的功能超聲圖像視覺對比
附件下載: