npj Digital Medicine | 多模態(tài)融合學(xué)習(xí)助力癌癥精準(zhǔn)預(yù)后
癌癥患者的預(yù)后情況,是制定個(gè)性化治療方案的核心依據(jù),但腫瘤具有高度異質(zhì)性,給精準(zhǔn)評(píng)估預(yù)后帶來了巨大挑戰(zhàn)。目前,多模態(tài)研究多集中在病理影像與基因組數(shù)據(jù),而能反映患者整體健康狀況的臨床信息,因存在離散、稀疏、維度低等特性,尚未被充分挖掘利用,這也導(dǎo)致傳統(tǒng)方法難以精準(zhǔn)評(píng)估預(yù)后風(fēng)險(xiǎn)。
近日,中國科學(xué)院深圳先進(jìn)技術(shù)研究院醫(yī)學(xué)成像科學(xué)與技術(shù)系統(tǒng)全國重點(diǎn)實(shí)驗(yàn)室秦文健研究員,提出一種臨床信息提示整合的多模態(tài)預(yù)后預(yù)測(cè)新框架,通過設(shè)計(jì)臨床文本模板和基礎(chǔ)大模型,將結(jié)構(gòu)化臨床數(shù)據(jù)轉(zhuǎn)化為高維語義特征,并通過交叉注意力機(jī)制實(shí)現(xiàn)病理圖像、基因組與臨床信息的高效融合,提升癌癥生存預(yù)測(cè)精度。研究成果以"Multimodal deep learning for cancer prognosis prediction with clinical information prompts integration"為題,發(fā)表于國際數(shù)字醫(yī)學(xué)權(quán)威期刊npj Digital Medicine(圖1)。
臨床信息“沉睡”難題如何破解?
傳統(tǒng)多模態(tài)研究多集中于病理影像與基因組數(shù)據(jù),而年齡、腫瘤分期等臨床信息因離散、低維的特性常被忽略。受圖像-文本對(duì)比學(xué)習(xí)研究的啟發(fā),研究團(tuán)隊(duì)設(shè)計(jì)“臨床文本模板”,并借助視覺-語言基礎(chǔ)模型編碼為高維向量,激活臨床數(shù)據(jù)的深層語義價(jià)值。具體而言,研究團(tuán)隊(duì)為每一項(xiàng)臨床特征設(shè)計(jì)了圍繞關(guān)鍵信息的文本描述模板,并利用GPT-4o mini自動(dòng)生成多個(gè)同義句模板,每個(gè)臨床特征隨機(jī)選取一個(gè)模板生成文本描述,并通過預(yù)訓(xùn)練的文本基礎(chǔ)模型進(jìn)行編碼。實(shí)驗(yàn)結(jié)果表明,當(dāng)模板數(shù)量Nt=1時(shí),不同生存時(shí)間患者的臨床高維特征在區(qū)分性和聚類效果上達(dá)到最優(yōu)(圖2a)。病理圖像和基因組數(shù)據(jù)分別通過基礎(chǔ)大模型UNI和scFoundation進(jìn)行特征編碼,隨后與高維臨床特征一同輸入SurvPGC模型。該模型采用雙路徑結(jié)構(gòu),每一路均基于跨模態(tài)雙向注意力機(jī)制,將病理圖像分別與臨床信息或基因組數(shù)據(jù)進(jìn)行融合(圖2d),從而充分挖掘不同模態(tài)之間的互補(bǔ)信息。
三大癌種驗(yàn)證:AUC顯著提升,風(fēng)險(xiǎn)分層更精準(zhǔn)
在性能評(píng)估方面,研究將SurvPGC與多種單模態(tài)及多模態(tài)生存預(yù)測(cè)模型進(jìn)行了系統(tǒng)比較。總體而言,多模態(tài)模型顯著優(yōu)于單模態(tài)模型;其中,SurvPGC在TCGA-LIHC、TCGA-BRCA和TCGA-COADREAD數(shù)據(jù)集上的C-index分別達(dá)到0.701±0.054、0.701±0.057和0.676±0.087,均優(yōu)于現(xiàn)有性能最優(yōu)模型?;贙aplan–Meier曲線的風(fēng)險(xiǎn)分層分析同樣表明,SurvPGC在區(qū)分高風(fēng)險(xiǎn)與低風(fēng)險(xiǎn)患者方面具有更強(qiáng)的預(yù)測(cè)能力(圖3)。?
為進(jìn)一步分析雙路徑融合嵌入對(duì)模型決策的貢獻(xiàn),研究采用Integrated Gradients(IG)方法量化多模態(tài)嵌入對(duì)預(yù)測(cè)結(jié)果的影響,并對(duì)跨模態(tài)注意力矩陣Ac→p(臨床-病理學(xué))和Ag→p(基因組-病理學(xué))在病理全切片圖像上的分布進(jìn)行了可視化,以研究基因組和臨床信息關(guān)注的組織區(qū)域。圖4展示了來自數(shù)據(jù)集TCGA-LIHC的典型病例,其中紅色表示高關(guān)注區(qū)域,藍(lán)色表示低關(guān)注區(qū)域。根據(jù)生存時(shí)間將病例分為高風(fēng)險(xiǎn)和低風(fēng)險(xiǎn)組,生存時(shí)間越短,風(fēng)險(xiǎn)越高。本研究分別根據(jù)Ac→p和Ag→p的累積注意力值選擇了排名前50的圖像塊區(qū)域。在TCGA-LIHC中(圖4),臨床和基因組數(shù)據(jù)的注意力主要集中在WSI中的腫瘤細(xì)胞區(qū)域。此外,基因組數(shù)據(jù)還更傾向于關(guān)注諸如淋巴細(xì)胞和壞死等區(qū)域,而這些區(qū)域很少被Ac→p選擇。然而,基因組數(shù)據(jù)更容易受到噪聲的影響,并可能聚焦于無關(guān)的偽影,如臨床上的人工馬克筆標(biāo)記或掃描陰影。盡管不同數(shù)據(jù)集中的臨床和基因組數(shù)據(jù)的主要關(guān)注區(qū)域有所不同,但總體而言它們是互補(bǔ)的。
中國科學(xué)院深圳先進(jìn)技術(shù)研究院博士生侯嘉馨為該研究的第一作者,中國科學(xué)院深圳先進(jìn)技術(shù)研究院秦文健研究員為論文通訊作者。該研究工作得到了國家自然科學(xué)基金、深港腫瘤影像智能計(jì)算分析聯(lián)合實(shí)驗(yàn)室、深圳市基礎(chǔ)研究專項(xiàng)自然科學(xué)基金、深港澳科技計(jì)劃以及中國科學(xué)院青年創(chuàng)新促進(jìn)會(huì)會(huì)員的資助。

圖1:文章上線截圖

圖2:本研究提出的工作流

圖3:各模型在TCGA-LIHC數(shù)據(jù)集上的KM曲線

圖4:TCGA-LIHC患者的可解釋性可視化展示
附件下載: