Medical Image Analysis | 多模態(tài)相似性評估器SynMSE 突破無監(jiān)督多模態(tài)醫(yī)學(xué)圖像配準(zhǔn)中復(fù)雜分布差異難題
醫(yī)學(xué)圖像配準(zhǔn)在放射治療計(jì)劃、手術(shù)導(dǎo)航及多模態(tài)影像融合中發(fā)揮著關(guān)鍵作用。然而,無監(jiān)督多模態(tài)配準(zhǔn)方法常常受到灰度分布差異、解剖結(jié)構(gòu)異質(zhì)性和生理運(yùn)動變異 的影響,導(dǎo)致配準(zhǔn)精度不足。
近日,中國科學(xué)院深圳先進(jìn)技術(shù)研究院醫(yī)工所秦文健研究員團(tuán)隊(duì)針對無監(jiān)督配準(zhǔn)算法在復(fù)雜多模態(tài)場景中面臨的挑戰(zhàn),創(chuàng)新性提出了一種新的多模態(tài)相似性評估器(SynMSE),有效解決了配準(zhǔn)過程中的分布差異難題。該成果以"SynMSE: A multimodal similarity evaluator for complex distribution discrepancy in unsupervised deformable multimodal medical image registration"為題,發(fā)表在醫(yī)學(xué)圖像分析領(lǐng)域知名期刊 Medical Image Analysis上。
研究團(tuán)隊(duì)提出了一種全新的解耦空間與分布信息的無監(jiān)督配準(zhǔn)框架。具體而言,團(tuán)隊(duì)設(shè)計(jì)了一個基于 Structure-Constrained CycleGAN 的生成器,用于模擬模態(tài)間的灰度差異并保持解剖拓?fù)湟恢滦?;同時,通過隨機(jī)變換與偽影像生成分離空間錯位與分布差異,使 SynMSE 評估器能夠忽略模態(tài)特有的灰度差異,聚焦于空間對齊,從而作為即插即用的相似性度量模塊無縫集成于任意配準(zhǔn)網(wǎng)絡(luò)中。
研究結(jié)果表明,SynMSE 在L2R 2022 CT-MR腹部數(shù)據(jù)集、臨床宮頸CT-MR數(shù)據(jù)集以及CuRIOUS MR-US腦數(shù)據(jù)集上均取得了最優(yōu)配準(zhǔn)性能。與傳統(tǒng)方法相比,SynMSE顯著提升了Dice系數(shù)、降低了HD95與TRE誤差,實(shí)現(xiàn)了在復(fù)雜模態(tài)差異下的高精度解剖結(jié)構(gòu)對齊。圖4-圖6分別為所提出方法在三個數(shù)據(jù)集上的定性結(jié)果展示,紅色標(biāo)注代表固定圖像的目標(biāo)器官區(qū)域,黃色標(biāo)注代表浮動圖像與配準(zhǔn)后圖像的目標(biāo)器官區(qū)域。表示圖中結(jié)果顯示,SynMSE更好的克服了多模態(tài)圖像間的復(fù)雜分布差異,不僅實(shí)現(xiàn)了更精確的配準(zhǔn)效果,而且有效保持了組織邊界與解剖拓?fù)涞耐暾裕黠@優(yōu)于現(xiàn)有方法。
中國科學(xué)院深圳先進(jìn)技術(shù)研究院秦文健研究員為通訊作者,碩士生朱靜珂為第一作者。中國科學(xué)院深圳先進(jìn)技術(shù)研究院謝耀欽研究員、遼寧省腫瘤醫(yī)院孫德宇、崔明,香港理工大學(xué)蔡璟教授為論文的共同作者。該研究獲得國自然聯(lián)合重點(diǎn)、深圳市基礎(chǔ)重點(diǎn)、國家重點(diǎn)研發(fā)、深港腫瘤圖像智能計(jì)算分析聯(lián)合實(shí)驗(yàn)室和中國科學(xué)院青促會等項(xiàng)目支持。

圖1:文章上線截圖,原文鏈接https://www.sciencedirect.com/science/article/pii/S1361841525001677?sessionid=1950329661

圖2:多模態(tài)醫(yī)學(xué)圖像配準(zhǔn)的復(fù)雜分布差異問題

圖3:所提出方法架構(gòu)圖

圖4:所提出方法與現(xiàn)有方法在L2R 2022 CT-MR腹部數(shù)據(jù)集上的定性效果

圖5:所提出方法與現(xiàn)有方法在臨床宮頸CT-MR數(shù)據(jù)集上的定性效果

圖6:所提出方法與現(xiàn)有方法在CuRIOUS MR-US腦數(shù)據(jù)集上的定性效果(黃色箭頭指向圖像上的較為明顯的腦溝等顯著結(jié)構(gòu))
附件下載: