Nature Biomedical Engineering|彌合“可解釋鴻溝”??深圳先進(jìn)院提出將黑盒AI模型轉(zhuǎn)化為醫(yī)學(xué)知識(shí)發(fā)現(xiàn)的高效方法
人工智能(AI)技術(shù)在醫(yī)療領(lǐng)域的應(yīng)用越來越深入,然而,AI模型的“黑盒”特性導(dǎo)致醫(yī)療專家很難直觀理解模型決策背后的邏輯,已有的“可解釋AI”方法(包括大語(yǔ)言模型)均無法如實(shí)準(zhǔn)確的描述模型決策機(jī)制,引發(fā)了業(yè)界對(duì)醫(yī)療AI模型潛在錯(cuò)誤、失控風(fēng)險(xiǎn)、偏向性等重大隱患的嚴(yán)重?fù)?dān)憂。如何實(shí)現(xiàn)醫(yī)療專家和AI模型的“零距離”對(duì)接,成為當(dāng)前醫(yī)療AI推廣的痛點(diǎn)。
5月18日,中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院(以下簡(jiǎn)稱“深圳先進(jìn)院”)蔡云鵬研究團(tuán)隊(duì)在國(guó)際權(quán)威期刊Nature Biomedical Engineering發(fā)表最新研究論文“Bridging the Interpretability Gap for Medical Artificial Intelligence Models using Class-Association Manifold Learning”。同時(shí),該研究還被邀請(qǐng)撰寫研究簡(jiǎn)報(bào)(Research Briefings)進(jìn)行推介(每期僅1篇)。該研究提出了一種稱為“類關(guān)聯(lián)流形學(xué)習(xí)”(Class-Association Manifold Learning)的數(shù)學(xué)方法,高效地將黑盒AI模型決策規(guī)律轉(zhuǎn)化為低維空間的可視化流形,并且用生成式AI方法按需靈活的對(duì)數(shù)據(jù)樣本進(jìn)行定向修改并產(chǎn)生虛構(gòu)對(duì)比樣本,從而讓醫(yī)生直觀理解AI所發(fā)現(xiàn)的隱藏知識(shí)規(guī)律,并總結(jié)為臨床知識(shí)。
包括諾獎(jiǎng)得主、DeepMind掌門人Demis Hassabis在內(nèi)的許多科學(xué)家均認(rèn)為,自然規(guī)律應(yīng)該可以容納在一個(gè)低維流形結(jié)構(gòu)中,這為AI模型可解釋性提供了可能。然而,至今未有方法可以產(chǎn)生這樣一個(gè)低維流形來有效表達(dá)AI模型決策及其背后的數(shù)據(jù)自然規(guī)律。研究團(tuán)隊(duì)創(chuàng)造性地提出了一種“可重組的流形分解”的思路,運(yùn)用流形學(xué)習(xí),將自然數(shù)據(jù)分布分解為兩個(gè)流形子空間,一個(gè)低維的類關(guān)聯(lián)子流形編碼與AI模型決策相關(guān)的所有特征,幾乎決定AI模型的所有行為,另一個(gè)高維子流形編碼與模型決策無關(guān)的個(gè)性化特征,并且兩個(gè)子流形的內(nèi)點(diǎn)可以進(jìn)行兩兩任意組合而產(chǎn)生逼真的新樣本。研究團(tuán)隊(duì)設(shè)計(jì)了求解滿足上述特性子流形的機(jī)器學(xué)習(xí)算法。這種方式不僅實(shí)現(xiàn)了將AI模型決策規(guī)律壓縮到低維流形結(jié)構(gòu)的目標(biāo),而且能夠產(chǎn)生一系列按特定趨勢(shì)連續(xù)變化的修改樣本,讓用戶可以直接觀察AI決策變化與樣本特征變化的關(guān)聯(lián)規(guī)律,進(jìn)一步總結(jié)獲得決策面分布、亞型分布、病灶特征等醫(yī)學(xué)知識(shí)發(fā)現(xiàn),還可以檢測(cè)短路學(xué)習(xí)等模型漏洞。Nature BME主編Rita Strack評(píng)價(jià)該工作“提出了一種聰明的方法,以使用者能理解的方式探究黑盒模型內(nèi)部工作機(jī)制”。
研究團(tuán)隊(duì)在包括眼科眼底影像和OCT造影、X光胸透影像、腦腫瘤MRI影像、心電圖、基因表達(dá)譜等在內(nèi)的多種生物醫(yī)學(xué)數(shù)據(jù)集上對(duì)該方法進(jìn)行了充分評(píng)測(cè),證明所提出的方法能夠?qū)⑸疃葘W(xué)習(xí)模型決策壓縮到僅8維的低維空間且只損失約1%-3%的精確度,損失率僅為傳統(tǒng)可解釋方法的1/10,維度僅為1/3-1/10,并且局部特征解釋的準(zhǔn)確率也明顯超越傳統(tǒng)方法。所提取的知識(shí)規(guī)律與已有的醫(yī)學(xué)知識(shí)概念在數(shù)據(jù)分布上呈現(xiàn)了高度對(duì)齊的效果。此外,多名醫(yī)療專家的盲測(cè)結(jié)果一致表明,新方法產(chǎn)生的解釋圖壓倒性的更為專家所認(rèn)可,為臨床輔助診斷和醫(yī)學(xué)科學(xué)發(fā)現(xiàn)提供了更有力的計(jì)算工具。
近年來,包括歐盟、美國(guó)FDA及我國(guó)衛(wèi)健委在內(nèi)的監(jiān)管機(jī)構(gòu)紛紛出臺(tái)了關(guān)于人工智能可解釋性的推薦性甚至強(qiáng)制性指導(dǎo)意見。另一方面,AI for Science日益受到科研界的廣泛關(guān)注。團(tuán)隊(duì)上述工作對(duì)增強(qiáng)AI醫(yī)療器械的安全性和合規(guī)性、提升AI輔助診療的質(zhì)量和認(rèn)可度、提高AI輔助醫(yī)學(xué)科學(xué)發(fā)現(xiàn)的效率,具有非常重要的應(yīng)用價(jià)值。
深圳先進(jìn)院蔡云鵬研究員、深圳理工大學(xué)潘毅教授、唐金陵教授為論文共同通訊作者。深圳先進(jìn)院博士生謝銳濤(現(xiàn)為深圳理工大學(xué)-深圳先進(jìn)院聯(lián)培博士后)為論文第一作者。深圳先進(jìn)院李燁研究員、香港中文大學(xué)王涵研究員等共同參與了研究。中山大學(xué)眼科中心多名醫(yī)療專家為方法評(píng)測(cè)提供了重要支持。深圳先進(jìn)院為第一完成單位。該項(xiàng)研究得到了中國(guó)科學(xué)院戰(zhàn)略性先導(dǎo)科技專項(xiàng)、深圳市高層次人才團(tuán)隊(duì)項(xiàng)目、 深圳市智能生物信息學(xué)重點(diǎn)實(shí)驗(yàn)室、國(guó)家自然科學(xué)基金項(xiàng)目的資助。




圖1?類關(guān)聯(lián)流形學(xué)習(xí)算法基本框架

圖2?類關(guān)聯(lián)流形學(xué)習(xí)算法通過流形投影和連續(xù)生成變化樣本的聯(lián)動(dòng),實(shí)現(xiàn)AI提取臨床規(guī)律的可視化展示,并實(shí)現(xiàn)已知醫(yī)學(xué)概念規(guī)律的對(duì)齊。
附件下載: