IEEE TMI | 基于大模型的低劑量PET重建技術(shù)
2025年1月8日,中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院(以下簡(jiǎn)稱“深圳先進(jìn)院”)醫(yī)工所、醫(yī)學(xué)成像科學(xué)與技術(shù)系統(tǒng)全國(guó)重點(diǎn)實(shí)驗(yàn)室胡戰(zhàn)利研究員團(tuán)隊(duì)開發(fā)了一種基于大模型的低劑量PET圖像重建技術(shù),在重建過(guò)程中高效提取和整合了基礎(chǔ)模型的先驗(yàn)信息,使低劑量PET重建技術(shù)在精度和安全上實(shí)現(xiàn)了提升。
研究成果以“Prompt-Agent-Driven Integration of Foundation Model Priors for Low-Count PET Reconstruction”為題發(fā)表在醫(yī)學(xué)成像領(lǐng)域TOP期刊IEEE Transactions on Medical Imaging上。提出方法創(chuàng)新性的利用大模型技術(shù)來(lái)輔助低劑量PET圖像重建,為低劑量PET成像技術(shù)提供了全新思路。
正電子發(fā)射斷層成像(PET)作為當(dāng)今核醫(yī)學(xué)尖端技術(shù)的代表,主要用于腫瘤、心腦血管等重大疾病的早期診斷和治療。低劑量成像是PET技術(shù)的發(fā)展趨勢(shì),旨在降低輻射劑量的同時(shí)保持圖像質(zhì)量。目前,低劑量PET圖像重建通常利用配對(duì)的CT或MR圖像作為解剖先驗(yàn)信息。先驗(yàn)信息的引入有效提升了傳統(tǒng)低劑量PET成像方法的性能,但也導(dǎo)致了輻射增加或掃描時(shí)間延長(zhǎng)、以及數(shù)據(jù)處理復(fù)雜度提高等問(wèn)題。
近年來(lái),隨著人工智能技術(shù)的快速發(fā)展,大模型逐漸成為人工智能領(lǐng)域中最為重要的發(fā)展方向之一。大模型相較于傳統(tǒng)人工智能模型更具優(yōu)勢(shì),其通過(guò)大規(guī)模的預(yù)訓(xùn)練獲取了豐富的跨模態(tài)和高層次先驗(yàn)知識(shí),具有更強(qiáng)的泛化能力,能夠動(dòng)態(tài)適配不同的下游任務(wù)。其中,醫(yī)學(xué)大模型因其在預(yù)訓(xùn)練階段接觸了大量的CT/MR數(shù)據(jù),能夠提取這些數(shù)據(jù)的核心特征并具有卓越的泛化能力。因此,利用大模型作為先驗(yàn)信息的替代來(lái)源,有望擺脫當(dāng)前低劑量PET圖像重建對(duì)配對(duì)CT/MR數(shù)據(jù)的依賴,可以有效減少輻射暴露、縮短掃描時(shí)間并優(yōu)化成像流程。此外,相較于傳統(tǒng)的深度學(xué)習(xí)技術(shù),大模型可以提供更加魯棒和豐富的先驗(yàn)特征,有望提高PET圖像重建效果和網(wǎng)絡(luò)模型的泛化性。
研究團(tuán)隊(duì)通過(guò)融合醫(yī)學(xué)圖像基礎(chǔ)模型的深層先驗(yàn)知識(shí),優(yōu)化了低劑量PET圖像重建流程。醫(yī)學(xué)視覺(jué)大模型經(jīng)過(guò)大量CT/MR數(shù)據(jù)的預(yù)訓(xùn)練,掌握了CT/MR的本質(zhì)特征,團(tuán)隊(duì)利用這些特征替代了傳統(tǒng)的CT/MR先驗(yàn)數(shù)據(jù),通過(guò)代理機(jī)器人框架動(dòng)態(tài)提取醫(yī)學(xué)圖像大模型的先驗(yàn)信息,從而降低了輻射風(fēng)險(xiǎn)、縮短了掃描時(shí)間并簡(jiǎn)化了重建流程。實(shí)驗(yàn)結(jié)果表明,該技術(shù)無(wú)需依賴配對(duì)的標(biāo)準(zhǔn)CT/MR掃描數(shù)據(jù),即可實(shí)現(xiàn)高質(zhì)量的PET圖像重建,并超越了現(xiàn)有CT/MR配對(duì)數(shù)據(jù)重建算法的效果。提出方法不僅有效保留了圖像細(xì)節(jié)、顯著抑制了噪聲,同時(shí)在精度和一致性上與“金標(biāo)準(zhǔn)”高度契合。此外,得益于基礎(chǔ)模型的優(yōu)異泛化性,提出方法在Zero-short等場(chǎng)景上也具有良好的表現(xiàn)。
胡戰(zhàn)利研究員為論文通訊作者,博士后謝行雨和客座研究生趙文杰為論文共同第一作者。該研究得到了國(guó)自然數(shù)學(xué)天元重點(diǎn)專項(xiàng)、國(guó)家重點(diǎn)研發(fā)計(jì)劃重大科學(xué)儀器設(shè)備研發(fā)重點(diǎn)專項(xiàng)、國(guó)家重點(diǎn)研發(fā)計(jì)劃戰(zhàn)略性科技創(chuàng)新合作重點(diǎn)專項(xiàng)等項(xiàng)目的資助。

圖1:提出方法的總體技術(shù)路線圖

圖2:提出方法與現(xiàn)有配對(duì)CT/MR解剖先驗(yàn)方法的對(duì)比
附件下載: