IEEE TIP | 深圳先進院提出非平衡自信息傳輸新理論方法 破解弱配對病理虛擬染色技術(shù)難題
免疫組化(IHC)病理圖像虛擬染色通過將臨床常用的H&E染色圖像轉(zhuǎn)換為特定分子標志物表達的IHC圖像,為病理診斷提供了更豐富的信息。然而,AI虛擬染色技術(shù)的發(fā)展面臨兩大挑戰(zhàn):數(shù)據(jù)空間異質(zhì)性:H&E和IHC切片間病理特征的不一致性,可能導致虛擬染色模型生成錯誤的病理陽性區(qū)域。臨床診斷先驗的忽視:H&E圖像中,病變區(qū)形態(tài)及細胞異常性攜帶的隱式診斷先驗(如疾病亞型和對應IHC染色模式),以及相鄰切片的病理表達一致性,常被傳統(tǒng)AI方法忽略。
近日,中國科學院深圳先進技術(shù)研究院(以下簡稱“深圳先進院”)醫(yī)學成像科學與技術(shù)系統(tǒng)全國重點實驗室秦文健研究員團隊在病理圖像智能分析領域取得重要突破,提出一種非平衡自信息特征傳輸生成對抗網(wǎng)絡(USIGAN),成功攻克弱配對條件下免疫組化(IHC)虛擬染色的空間異質(zhì)性與病理語義失準難題,顯著提升虛擬染色結(jié)果的內(nèi)容一致性與臨床診斷價值。相關(guān)成果以"USIGAN: Unbalanced Self-Information Feature Transport for Weakly Paired Image IHC Virtual Staining" 為題,發(fā)表于圖像處理領域頂級期刊IEEE Transactions on Image Processing(CCF-A期刊,影響因子 13.7)。
在數(shù)字病理臨床診斷流程中,H&E 染色與 IHC 染色是腫瘤診斷和方案決策的核心依據(jù)。傳統(tǒng)流程依賴連續(xù)切片人工比對,成本高、周期長、一致性差。虛擬染色技術(shù)旨在通過 AI 直接由 H&E 圖像生成對應 IHC 染色,大幅提升效率。但臨床真實數(shù)據(jù)普遍存在弱配對問題:相鄰切片組織形態(tài)錯位、空間異質(zhì)性強,現(xiàn)有方法易出現(xiàn) “一對多錯誤映射”,導致染色位置偏移、強度失真、病理語義不符,難以滿足臨床診斷要求。
針對這一臨床痛點,團隊首次將自信息挖掘與非平衡最優(yōu)傳輸引入病理虛擬染色,提出了一種基于非平衡自信息傳輸?shù)娜跖鋵τ柧毞椒ǎㄟ^引入全新的間接學習策略,規(guī)避了傳統(tǒng)模型中因弱配對圖像優(yōu)化所導致的“病態(tài)解逆”問題。此方法顯著提升了虛擬染色的病理表達可靠性與準確性。具體來說,該方法解決了以下關(guān)鍵技術(shù)難點:
1. 弱配對圖像映射關(guān)系的精準構(gòu)建:通過利用非完全配對的圖像數(shù)據(jù),使模型能夠從少量局部配對信息中學習關(guān)鍵特征關(guān)聯(lián)性。
2. 結(jié)構(gòu)表達隱式先驗的融入:充分利用H&E染色圖像中異常形態(tài)與陽性免疫表達的內(nèi)在關(guān)系,提高模型對真實病理表達區(qū)域的預測能力。
3. 避免病態(tài)優(yōu)化目標:通過間接學習策略,繞開傳統(tǒng)方法中對弱配對圖像直接優(yōu)化的限制,顯著改善了模型泛化性能。
“如何通過兩個可能不配對的區(qū)域集合,構(gòu)建準確的映射關(guān)系?”是AI虛擬染色模型的一大核心難題。傳統(tǒng)方法主要聚焦于提高準確配對區(qū)域?qū)δP陀柧毜呢暙I度,但仍面臨弱配對引發(fā)的病態(tài)優(yōu)化問題。對此,研究團隊另辟蹊徑,通過規(guī)避優(yōu)化目標中弱配對項引發(fā)的病態(tài)求逆,提出了獨特的間接學習策略,繞開對弱配對圖像直接優(yōu)化的限制,從而有效提升了模型訓練的穩(wěn)定性和病理表達的精準性。這一創(chuàng)新思路在降低數(shù)據(jù)依賴的同時,為虛擬染色模型構(gòu)建更準確的映射關(guān)系提供了全新解決方案。
團隊首先在 MIST、IHC4BC 兩大國際公開乳腺病理數(shù)據(jù)集(涵蓋 Ki?67、ER、PR、HER2 四大關(guān)鍵標志物)開展系統(tǒng)實驗分析。結(jié)果顯示生成的 HER2、ER、PR、Ki67 虛擬染色結(jié)果在細胞結(jié)構(gòu)完整性、染色強度分布以及腫瘤區(qū)域表達模式方面均與真實 IHC 染色高度一致,腫瘤細胞核與細胞質(zhì)的表達邊界清晰,背景區(qū)域抑制良好,整體呈現(xiàn)出良好的病理語義一致性。
更進一步的,研究團隊通過兩種方式驗證了虛擬染色圖像的質(zhì)量與臨床適用性:
(1)定量與主觀評價:通過訓練下游分類模型,以及病理醫(yī)生對虛擬染色圖像的評分,分別驗證了模型在內(nèi)容保持度、感知一致性和病理表達一致性三個指標上的性能。評估結(jié)果顯示,這些指標均達到了臨床可接受水平(評分均超過3分/5分)。
(2)真實臨床數(shù)據(jù)驗證:研究團隊利用公開數(shù)據(jù)集訓練的模型,直接應用于臨床醫(yī)院的真實臨床數(shù)據(jù)進行測試。結(jié)果表明,虛擬染色模型在真實場景中展現(xiàn)出準確的預測能力。
該研究完全消除弱配對數(shù)據(jù)的負面影響,為無標注、弱配對病理虛擬染色提供全新范式,有望應用于乳腺癌等腫瘤快速分型、靶向藥物篩選、病理 AI 質(zhì)控等場景,加速數(shù)字病理智能化與普惠化進程。
深圳先進院博士生彭月和碩士生熊兵為該研究共同第一作者,深圳先進院秦文健研究員為論文通訊作者,香港理工大學蔡璟教授提供學術(shù)指導和技術(shù)支持,中山大學腫瘤防治中心胡婉明副主任醫(yī)師提供臨床指導和數(shù)據(jù)支撐。該研究工作得到了國家重點研發(fā)計劃青年科學家、國家自然科學基金面上項目、深港腫瘤影像智能計算分析聯(lián)合實驗室以及中國科學院青年創(chuàng)新促進會會員等資助。

圖1: 弱配對數(shù)據(jù)的挑戰(zhàn)以及自信息挖掘的潛力

圖2: USIGAN方法整體流程示意:從非平衡最優(yōu)傳輸?shù)难h(huán)傳輸策略與批次內(nèi)光密度一致策略

圖3:不同虛擬染色方法在多種IHC生物標志物上結(jié)果對比示意

圖4:病理醫(yī)生打分
附件下載: