入選CVPR 2025！深圳大學(xué)團(tuán)隊(duì)等提出EchoONE，可精準(zhǔn)分割多切面超聲心動(dòng)圖

心血管疾病死亡是我國(guó)居民總死亡的首要原因。超聲心動(dòng)圖因其無(wú)創(chuàng)、成本低、實(shí)時(shí)成像等優(yōu)點(diǎn)，已成為臨床上應(yīng)用最廣泛的心臟檢查方法之一。在實(shí)際操作中，超聲醫(yī)生需要從不同位置和角度對(duì)心臟進(jìn)行掃查，以獲取多個(gè)切面的超聲圖像，后綜合各切面圖來(lái)對(duì)心臟結(jié)構(gòu)和功能進(jìn)行分析，包括識(shí)別心肌輪廓、測(cè)量各個(gè)腔室大小等。

然而，由于不同切面之間存在顯著的結(jié)構(gòu)差異，現(xiàn)有分割模型在多切面圖上的泛化能力較弱，通常需要針對(duì)每個(gè)特定切面進(jìn)行單獨(dú)定制，導(dǎo)致重復(fù)開(kāi)發(fā)的成本較高。此外，當(dāng)特定切面的模型應(yīng)用于其他切面時(shí)，性能往往會(huì)顯著下降，從而限制了其在臨床中的推廣和應(yīng)用。

對(duì)此，來(lái)自深圳大學(xué)醫(yī)學(xué)部生物醫(yī)學(xué)工程學(xué)院醫(yī)學(xué)超聲圖像計(jì)算實(shí)驗(yàn)室 (MUSIC)、深圳大學(xué)大數(shù)據(jù)國(guó)家工程實(shí)驗(yàn)室和深圳市人民醫(yī)院超聲科的研究團(tuán)隊(duì)提出了多切面超聲心動(dòng)圖統(tǒng)一分割模型 EchoONE。該模型將自然圖像分割大模型 SAM 微調(diào)技術(shù)和心臟超聲切面先驗(yàn)知識(shí)進(jìn)行結(jié)合，可對(duì)多切面超聲心動(dòng)圖的心臟結(jié)構(gòu)進(jìn)行精準(zhǔn)分割，有效減少設(shè)計(jì)模型的冗雜度，更加高效地輔助醫(yī)生進(jìn)行心功能評(píng)估。

該研究以「EchoONE: Segmenting Multiple echocardiography Planes in One Model」為題，入選 2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)。

研究亮點(diǎn)：

* 成功開(kāi)發(fā)了一種統(tǒng)一模型，能夠?qū)Y(jié)構(gòu)差異顯著的多切面超聲心動(dòng)圖進(jìn)行精確分割

* 提出了一種先驗(yàn)可組合的掩碼學(xué)習(xí)模塊 (PC-Mask) 生成語(yǔ)義感知密集提示，同時(shí)引入局部特征融合與適應(yīng)模塊 (LFFA) 適配 SAM 架構(gòu)。這使得 EchoONE 在處理數(shù)據(jù)分布差異顯著、邊界模糊的不同切面超聲心動(dòng)圖時(shí)表現(xiàn)出色

* 模型 EchoONE 性能優(yōu)于其他多個(gè)基于微調(diào)的大模型，在外部測(cè)試集的表現(xiàn)同樣達(dá)到最優(yōu)

數(shù)據(jù)集：3 大公開(kāi)數(shù)據(jù)集 + 22,044 張私有圖像-標(biāo)注對(duì)

本研究使用了來(lái)自多個(gè)中心的多切面超聲心動(dòng)圖，包括私有數(shù)據(jù)集和公開(kāi)數(shù)據(jù)集。

公開(kāi)數(shù)據(jù)集包括 CAMUS、HMC_QU 和 EchoNet_Dynamic。CAMUS 是本領(lǐng)域被廣泛使用的心臟超聲數(shù)據(jù)集，來(lái)自法國(guó)多家醫(yī)院，包括 500 個(gè)病例的二腔心 (2CH)、四腔心 (4CH) 數(shù)據(jù)。HMC_QU 數(shù)據(jù)集由哈馬德醫(yī)療公司 (HMC)、坦佩雷大學(xué)和卡塔爾大學(xué)合作創(chuàng)建。EchoNet-Dynamic 數(shù)據(jù)集由斯坦福大學(xué)創(chuàng)建，本研究?jī)H使用其測(cè)試集進(jìn)行外部測(cè)試實(shí)驗(yàn)，便于比較分析。

* CAMUS 心臟超聲圖像數(shù)據(jù)集下載：
https://hyper.ai/cn/datasets/38453

* HMC-QU 心臟醫(yī)學(xué)影像數(shù)據(jù)集下載：
https://hyper.ai/cn/datasets/38456

私有數(shù)據(jù)集取自國(guó)內(nèi)多家合作醫(yī)院的超聲數(shù)據(jù)，總計(jì) 22,044 張圖像-標(biāo)注對(duì)，包括二腔心 (2CH)、三腔心 (3CH)、四腔心 (4CH) 和胸骨旁左室短軸 (PSAX) 的 3 個(gè)不同水平切面。

模型架構(gòu)：基于 SAM，EchoONE 模型由 3 大組件構(gòu)成

EchoONE 的整體框架主要由 3 個(gè)組件構(gòu)成：一個(gè)基于 SAM 的分割架構(gòu)；一個(gè)用于生成密集提示 (Dense Prompt) 的組件；一個(gè)基于 CNN 的局部特征分支，用于對(duì) SAM 進(jìn)行調(diào)整和適應(yīng)。整個(gè)網(wǎng)絡(luò)架構(gòu)在原始 SAM 的基礎(chǔ)上構(gòu)建，包含了基于 Transformer 的圖像編碼器和掩碼解碼器、稀疏提示編碼器以及用于密集提示的掩碼編碼器 (Mask Encoder)。

此外，研究人員在階梯側(cè)邊調(diào)優(yōu) (LST) 分支中引入了局部特征融合與自適應(yīng)模塊 (LFFA)，增強(qiáng)了 SAM 對(duì)特定任務(wù)的適應(yīng)性。同時(shí)，他們還提出了一個(gè)基于聚類(lèi)的先驗(yàn)可組合掩碼學(xué)習(xí)模塊 (PC-Mask)，以生成語(yǔ)義感知的密集提示。PC-Mask 和 LFFA 的詳細(xì)信息如下：

(a) PC-Mask 模塊

密集的掩碼提示為 SAM 提供了比點(diǎn)、框提示更豐富的信息，PC-Mask 模塊可以自動(dòng)生成高質(zhì)量的掩模提示。為了處理多個(gè)切面上語(yǔ)義結(jié)構(gòu)的多樣性，研究人員首先將不同切面上的圖像分組為潛在特征空間中的 K 個(gè)聚類(lèi)。每個(gè)集群的中心被用作潛在空間中簇的原型 (Prototypes)。類(lèi)似地，一個(gè)中心掩模 (Center Mask)，可以通過(guò)平均被分配給簇的那些圖像的掩模來(lái)得到。

以這些掩模中心作為結(jié)構(gòu)的先驗(yàn)，研究人員的目標(biāo)是在沒(méi)有切面類(lèi)型信息的情況下，為每個(gè)新圖像生成一個(gè)心肌區(qū)域的密集提示。對(duì)于一個(gè)輸入圖像，用它與這些原型的相似性「或距離」來(lái)表示它在潛在空間中的位置；然后利用相似度作為權(quán)值，將這些先驗(yàn)中心組合為多通道先驗(yàn)嵌入，最后輸入到一個(gè)輕量級(jí) U-Net，輸出結(jié)果作為 SAM 的密集提示 (Dense Prompt)，這個(gè)過(guò)程使用 Dice Loss 和 BCE Loss 進(jìn)行約束。

(b) LFFA 模塊

為了充分利用 SAM 的能力，避免重新訓(xùn)練、浪費(fèi)資源，需要一個(gè)輔助分支來(lái)調(diào)整 SAM 以適應(yīng)新的場(chǎng)景。研究人員為此設(shè)計(jì)了一個(gè)可學(xué)習(xí)的 CNN 分支，由 3 部分組成：首先是用于局部特征提取的殘差塊 (Residual Block)；其次是用于調(diào)整圖像編碼器的跨分支注意的 CNN 塊；第三是使掩碼解碼器適應(yīng)特定任務(wù)的局部特征融合 Transformer 塊。

在掩碼解碼器中，除了原本 SAM 的兩個(gè) Transformer 塊，研究人員還添加了 3 個(gè)可學(xué)習(xí)塊，以適應(yīng)局部特性的融合。將圖像編碼器中跨分支注意的每層 CNN 塊的局部特征連接到掩碼解碼器對(duì)應(yīng)的 Transformer 塊，而每層特征通過(guò) LFFA 模塊進(jìn)行融合，過(guò)程如下所示。

實(shí)驗(yàn)結(jié)論：在超聲心動(dòng)圖的多切面分割任務(wù)中， EchoONE 既準(zhǔn)確又穩(wěn)健

研究人員使用內(nèi)部和外部數(shù)據(jù)集進(jìn)行了廣泛實(shí)驗(yàn)，證明了 EchoONE 的有效性。

對(duì)多切面任務(wù)的魯棒性：下表匯總了模型在內(nèi)部測(cè)試集各個(gè)切面上的表現(xiàn)?？梢钥吹剑珽choONE 對(duì)比基于 CNN、Transformer 和 SAM 的模型，在平均 Dice、IoU 和 HD95 指標(biāo)上均達(dá)到了最優(yōu)。

對(duì)不同心臟結(jié)構(gòu)的魯棒性：如下面的雷達(dá)圖所示，對(duì)比以往模型，EchoONE 模型在心臟的每個(gè)結(jié)構(gòu) (左心房、左心室、心肌) 得到了更高的 Dice 值。

對(duì)跨中心數(shù)據(jù)的魯棒性：下面的圖和表格顯示了 EchoONE 在內(nèi)部 5 個(gè)中心的測(cè)試集上取得最優(yōu)表現(xiàn)。

外部驗(yàn)證：如下圖所示，即使是訓(xùn)練時(shí)候沒(méi)有見(jiàn)過(guò)的兩個(gè)外部測(cè)試集，**EchoONE 依然展示了強(qiáng)大的泛化性能。**對(duì)于存在噪聲明顯、低質(zhì)量圖像的 HMC_QU，EchoONE 也提供 73.94% 的 Dice 分?jǐn)?shù)，表明其在真實(shí)臨床實(shí)踐方面的存在巨大潛力。

可視化分析：從可視化結(jié)果對(duì)比也可以看到，EchoONE 不僅提供了合理的分割區(qū)域，在輪廓細(xì)化方面也效果突出，這個(gè)得益于其為不同的切面生成粗分割結(jié)果，提示模型聚焦該區(qū)域并細(xì)化邊界，從而改進(jìn)分割結(jié)果。

消融實(shí)驗(yàn)結(jié)果：為了進(jìn)一步研究 PC-Mask 和 LFFA 模塊對(duì)于模型提升性能的有效性，研究人員在內(nèi)部 5 個(gè)數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn)。從結(jié)果來(lái)看，這兩個(gè)模塊分別通過(guò)以語(yǔ)義感知方式利用先驗(yàn)知識(shí)和融合局部特征優(yōu)化 SAM 架構(gòu)，使得 EchoONE 可以對(duì)超聲心動(dòng)圖的多切面分割問(wèn)題實(shí)現(xiàn)準(zhǔn)確和穩(wěn)健的性能。

研究可推廣至其他醫(yī)學(xué)影像模式中

EchoONE 模型致力于解決多切面分割這一復(fù)雜挑戰(zhàn)，通過(guò)引入一種創(chuàng)新的密集提示學(xué)習(xí)模塊——PC-Mask，以可組合的方式利用先驗(yàn)結(jié)構(gòu)知識(shí)，在分割過(guò)程中提供有效的切面特定語(yǔ)義指導(dǎo)。此外，研究還提出了一種可學(xué)習(xí)的 CNN 局部特征分支，用于優(yōu)化圖像編碼器并適應(yīng)掩碼解碼器，LFFA 模塊不僅提升了最終性能，還加快了收斂速度。

這是首次提出的一種使用單一魯棒模型對(duì)所有切面超聲心動(dòng)圖進(jìn)行有效分割的方案，簡(jiǎn)化了人工智能技術(shù)在臨床實(shí)踐中的應(yīng)用。盡管目前僅在超聲圖像上進(jìn)行了驗(yàn)證，但這種方法具有推廣至其他醫(yī)學(xué)影像模式中處理多切面分割問(wèn)題的潛力。未來(lái)，研究人員將聚焦于提升更多切面的泛化能力，以及構(gòu)建針對(duì)多切面視頻的魯棒模型。

值得一提的是，本研究課題負(fù)責(zé)人薛武峰來(lái)自深圳大學(xué)醫(yī)學(xué)部生物醫(yī)學(xué)工程學(xué)院，團(tuán)隊(duì)長(zhǎng)期圍繞心臟醫(yī)學(xué)影像和人工智能開(kāi)展研究，涵蓋心臟結(jié)構(gòu)/功能/血流建模、心臟基礎(chǔ)模型、圖文大模型等。歡迎訪問(wèn)學(xué)生、博后、研究員等加入，有意者可聯(lián)系薛武峰老師 「xuewf@szu.edu.cn」。

* 薛武峰個(gè)人主頁(yè)：
https://bme.szu.edu.cn/info/116