影像級標注+偽標簽生成技術(shù),助力術(shù)中實時導航標定動態(tài)病灶
近日,中國科學院深圳先進技術(shù)研究院梁曉坤團隊,在弱監(jiān)督學習在醫(yī)學影像語義分割和分類定位中的研究中取得新進展。通過結(jié)合影像級標注和偽標簽生成技術(shù),顯著提升了病灶的分割和定位精度,為影像引導治療、實時病灶識別和術(shù)中精準實時導航等應(yīng)用場景提供了新的解決方案。本研究在降低標注成本的同時,提升了模型性能。
相關(guān)成果在期刊IEEE Transactions on Industrial Informatics上以“Weakly-supervised Semantic Segmentation via Dual-stream Contrastive Learning of Cross-image Contextual Information”為題,在期刊Expert Systems With Applications上以“Hybrid Multiple Instance Learning Network for Weakly Supervised Medical Image Classification and Localization”為題分別進行了發(fā)表。


文章上線截圖
雙流對比學習框架(DSCNet)
實現(xiàn)了同時利用像素級和語義級跨影像上下文信息的學習。DSCNet的核心創(chuàng)新在于其能夠同時處理像素級和語義級上下文信息,為弱監(jiān)督學習在其他計算機視覺任務(wù)中的應(yīng)用提供了新思路。
相比傳統(tǒng)方法僅關(guān)注單一影像內(nèi)的像素信息,DSCNet通過對比學習機制,在數(shù)據(jù)集中挖掘出類別間的全局關(guān)聯(lián)性,從而生成更加精確的偽分割標簽。

雙流對比學習框架流程圖
混合多實例學習框架(HybridMIL)
將卷積神經(jīng)網(wǎng)絡(luò)(CNN)和寬學習系統(tǒng)(BLS)整合為統(tǒng)一框架,用于弱監(jiān)督醫(yī)學影像分類與病灶定位。HybridMIL設(shè)計實例級特征增強模、全局語義增強模塊,以及混合特征融合模塊。
這些模塊協(xié)同工作,有效提取多尺度特征信息,捕獲實例間相關(guān)性,并融合全局語義信息,從而顯著提升了醫(yī)學影像的分類和定位能力。在胸部X光、計算機斷層掃描(CT)、病理等多個公開數(shù)據(jù)集中進行了驗證。實驗結(jié)果顯示,HybridMIL分類性能提高了最高9%,定位精度也超越了目前主流方法。

混合多實例學習框架流程圖與模型細節(jié)
后續(xù),研究團隊在進一步優(yōu)化算法的泛化能力,并探索多模態(tài)數(shù)據(jù)的融合分析,以應(yīng)對更加復(fù)雜的影像引導治療場景。結(jié)合醫(yī)學影像大模型的優(yōu)勢,有望提供更加精確的靶區(qū)定位,為術(shù)中實時導航提供動態(tài)的病灶標定,并顯著提升多模態(tài)影像數(shù)據(jù)在復(fù)雜醫(yī)療決策中的協(xié)同作用。
深圳先進院賴琪博士為論文第一作者、梁曉坤副研究員為通訊作者。本研究工作獲得科技部國家重點研發(fā)計劃、國家自然科學基金項目、深圳市基礎(chǔ)研究計劃等項目的支持。
附件下載: