NPJ Digital Medicine | 深圳先進院實現(xiàn)輕量化AI賦能術(shù)中影像引導(dǎo)
近日,中國科學(xué)院深圳先進技術(shù)研究院(以下簡稱“深圳先進院”)醫(yī)學(xué)成像科學(xué)與技術(shù)系統(tǒng)全國重點實驗室、生物醫(yī)學(xué)與健康工程研究所梁曉坤研究員等聯(lián)合復(fù)旦大學(xué)附屬華山醫(yī)院吳勁松主任團隊、襄陽市中心醫(yī)院蔡強主任團隊、澳門大學(xué)黃志文副教授團隊及湖北文理學(xué)院晏濤副教授團隊,在實時術(shù)中影像實例分割領(lǐng)域取得重要進展。
研究團隊提出輕量化實時實例分割框架 EndoSeg-RT,可在復(fù)雜術(shù)中環(huán)境下實現(xiàn)關(guān)鍵解剖結(jié)構(gòu)的精準識別與實時分割,為智能化微創(chuàng)手術(shù)導(dǎo)航與術(shù)中輔助決策提供了新方案,相關(guān)數(shù)據(jù)集與代碼已公開。研究成果以"Deployable real-time spinal endoscopic instance segmentation with lightweight multi-scale attention mechanism"為題發(fā)表在數(shù)字醫(yī)學(xué)領(lǐng)域知名期刊NPJ Digital Medicine(IF=15.1),深圳先進院賴琪博士為第一作者。
脊柱內(nèi)鏡技術(shù)因創(chuàng)傷小、恢復(fù)快等優(yōu)勢,已廣泛應(yīng)用于微創(chuàng)脊柱外科。然而,術(shù)中內(nèi)鏡視野狹窄,常伴隨高光反射、煙霧、出血遮擋及組織邊界模糊等復(fù)雜情況,醫(yī)生需快速準確識別黃韌帶、神經(jīng)、骨組織及脂肪組織等關(guān)鍵結(jié)構(gòu),以降低術(shù)中風(fēng)險。現(xiàn)有深度學(xué)習(xí)方法雖在醫(yī)學(xué)影像分析中取得進展,但在脊柱內(nèi)鏡場景下仍面臨實時性不足、小目標識別困難及部署成本高等問題。
針對上述挑戰(zhàn),研究團隊提出了輕量化實時脊柱內(nèi)鏡實例分割框架 EndoSeg-RT(圖2)。該框架從主干網(wǎng)絡(luò)(Backbone)、特征融合頸部網(wǎng)絡(luò)(Neck)以及分割頭(Head)三個層面進行協(xié)同優(yōu)化,通過引入重參數(shù)化卷積與高效多尺度注意力機制,在保證高精度的同時顯著降低推理延遲;同時設(shè)計雙分支特征融合模塊,強化跨尺度信息交互與邊界細節(jié)表達,提升對細小神經(jīng)結(jié)構(gòu)及復(fù)雜組織邊界的識別能力,更適用于真實術(shù)中實時部署場景。
為驗證模型性能,研究團隊構(gòu)建了臨床標注的 PELD 脊柱內(nèi)鏡實例分割數(shù)據(jù)集(圖3)。該數(shù)據(jù)集來源于襄陽市中心醫(yī)院61例經(jīng)皮椎間孔鏡腰椎間盤切除術(shù)患者,共包含610張1080×720分辨率的脊柱內(nèi)鏡圖像,并對脂肪組織、骨組織、黃韌帶和神經(jīng)結(jié)構(gòu)進行了像素級實例標注。數(shù)據(jù)標注由具有豐富經(jīng)驗的脊柱外科醫(yī)生共同完成,并經(jīng)過專家審核,保證了數(shù)據(jù)質(zhì)量和臨床可靠性。
實驗結(jié)果表明,EndoSeg-RT 在保持極低計算復(fù)雜度的同時,實現(xiàn)了優(yōu)異的分割性能(圖4)。在 PELD 數(shù)據(jù)集上,該方法僅使用 1.8M 參數(shù)量和 8.8 GFLOPs,即可達到約189 FPS 的實時推理速度,在 Dice、IoU 和精度等指標上優(yōu)于或接近當前主流實例分割模型,包括 Mask R-CNN、SOLOv2、Mask2Former 和 YOLO 系列方法。相比傳統(tǒng)兩階段模型,EndoSeg-RT 在保持高精度的同時大幅降低了模型規(guī)模與計算開銷,更適合部署于術(shù)中工作站或邊緣設(shè)備。
本研究獲得國家重點研發(fā)計劃(BTIT專項)、澳門科學(xué)發(fā)展基金及深圳市面上項目等支持。

EndoSeg-RT框架概覽

數(shù)據(jù)集標注案例與每張圖像的每類像素占用率(%)。帶有抖動點的方框圖和須狀圖總結(jié)了骨骼、韌帶、脂肪和神經(jīng)的掩模面積占圖像面積的百分比分布。

EndoSeg-RT在PELD 數(shù)據(jù)集上的分割表現(xiàn)。
附件下載: