影像級標(biāo)注+偽標(biāo)簽生成技術(shù),助力術(shù)中實(shí)時(shí)導(dǎo)航標(biāo)定動(dòng)態(tài)病灶
近日,中國科學(xué)院深圳先進(jìn)技術(shù)研究院梁曉坤團(tuán)隊(duì),在弱監(jiān)督學(xué)習(xí)在醫(yī)學(xué)影像語義分割和分類定位中的研究中取得新進(jìn)展。通過結(jié)合影像級標(biāo)注和偽標(biāo)簽生成技術(shù),顯著提升了病灶的分割和定位精度,為影像引導(dǎo)治療、實(shí)時(shí)病灶識別和術(shù)中精準(zhǔn)實(shí)時(shí)導(dǎo)航等應(yīng)用場景提供了新的解決方案。本研究在降低標(biāo)注成本的同時(shí),提升了模型性能。
相關(guān)成果在期刊IEEE Transactions on Industrial Informatics上以“Weakly-supervised Semantic Segmentation via Dual-stream Contrastive Learning of Cross-image Contextual Information”為題,在期刊Expert Systems With Applications上以“Hybrid Multiple Instance Learning Network for Weakly Supervised Medical Image Classification and Localization”為題分別進(jìn)行了發(fā)表。


文章上線截圖
雙流對比學(xué)習(xí)框架(DSCNet)
實(shí)現(xiàn)了同時(shí)利用像素級和語義級跨影像上下文信息的學(xué)習(xí)。DSCNet的核心創(chuàng)新在于其能夠同時(shí)處理像素級和語義級上下文信息,為弱監(jiān)督學(xué)習(xí)在其他計(jì)算機(jī)視覺任務(wù)中的應(yīng)用提供了新思路。
相比傳統(tǒng)方法僅關(guān)注單一影像內(nèi)的像素信息,DSCNet通過對比學(xué)習(xí)機(jī)制,在數(shù)據(jù)集中挖掘出類別間的全局關(guān)聯(lián)性,從而生成更加精確的偽分割標(biāo)簽。

雙流對比學(xué)習(xí)框架流程圖
混合多實(shí)例學(xué)習(xí)框架(HybridMIL)
將卷積神經(jīng)網(wǎng)絡(luò)(CNN)和寬學(xué)習(xí)系統(tǒng)(BLS)整合為統(tǒng)一框架,用于弱監(jiān)督醫(yī)學(xué)影像分類與病灶定位。HybridMIL設(shè)計(jì)實(shí)例級特征增強(qiáng)模、全局語義增強(qiáng)模塊,以及混合特征融合模塊。
這些模塊協(xié)同工作,有效提取多尺度特征信息,捕獲實(shí)例間相關(guān)性,并融合全局語義信息,從而顯著提升了醫(yī)學(xué)影像的分類和定位能力。在胸部X光、計(jì)算機(jī)斷層掃描(CT)、病理等多個(gè)公開數(shù)據(jù)集中進(jìn)行了驗(yàn)證。實(shí)驗(yàn)結(jié)果顯示,HybridMIL分類性能提高了最高9%,定位精度也超越了目前主流方法。

混合多實(shí)例學(xué)習(xí)框架流程圖與模型細(xì)節(jié)
后續(xù),研究團(tuán)隊(duì)在進(jìn)一步優(yōu)化算法的泛化能力,并探索多模態(tài)數(shù)據(jù)的融合分析,以應(yīng)對更加復(fù)雜的影像引導(dǎo)治療場景。結(jié)合醫(yī)學(xué)影像大模型的優(yōu)勢,有望提供更加精確的靶區(qū)定位,為術(shù)中實(shí)時(shí)導(dǎo)航提供動(dòng)態(tài)的病灶標(biāo)定,并顯著提升多模態(tài)影像數(shù)據(jù)在復(fù)雜醫(yī)療決策中的協(xié)同作用。
深圳先進(jìn)院賴琪博士為論文第一作者、梁曉坤副研究員為通訊作者。本研究工作獲得科技部國家重點(diǎn)研發(fā)計(jì)劃、國家自然科學(xué)基金項(xiàng)目、深圳市基礎(chǔ)研究計(jì)劃等項(xiàng)目的支持。
附件下載: