近半年來，ChatGPT、DALL·E等引發了大規模基礎AI模型的狂潮。4月初，Meta AI 發布第一個用于圖像分割的大規模基礎模型Segment Anything Model (SAM)。SAM最大的亮點是它對未知的數據集和任務具有良好的零樣本（zero-shot）分割性能。分割過程可全自動（Everything模式）或由不同的手工提示（Prompt模式）驅動，例如，文字、點和方框。

雖然SAM在各種自然圖像分割任務上取得了令人印象深刻的結果，但醫學圖像分割由于多樣的成像模式、精細的解剖結構、不明確且復雜的邊界以及廣泛的物體尺度等而具有極大的挑戰性，其在大型醫學影像數據集上的表現還有待驗證。深圳大學生物醫學工程學院倪東教授智能超聲團隊聯合蘇黎世聯邦理工學院、深圳市人民醫院、浙江大學和深圳度影醫療科技等單位整理了一個有55.3萬張圖像，包含16種影像模態、68種生物醫學領域分割目標的超大規模醫學影像分割數據集COSMOS 553K，并基于該數據集率先對SAM進行了全面、多角度、大規模的細致評估，旨在促進醫學影像分析的發展，并回答一個重要問題：SAM對醫學影像分割的性能究竟如何？數據集展示

為了全面評估分析SAM在醫學影像分割上的表現，團隊收集并標準化了52個公共數據集，最終整理構建了一個包含16種影像模態和68種生物醫學領域分割目標（表1）的大型醫學影像分割數據集COSMOS 553K，數據集的展示見圖1，統計信息見圖2。

表1 COSMOS 553K包含的分割目標。H：頭頸部；C：胸部；A：腹部；P：盆部；B：骨頭；O：其它。

圖1 COSMOS 553K涵蓋了大多數醫學影像模態和生物醫學領域分割目標。例如，腦腫瘤、眼底血管、甲狀腺結節、脊柱、肺、心臟、腹部器官或腫瘤、細胞、息肉和手術儀器等。人體圖像來自Freepik，作者為brgfx(網址https://www.freepik.com/free-vector/anatomical-structure-human-body 27539420.htm)。

圖2 COSMOS 553K的統計信息。(a)收集到的公開數據集處理后的數據量；(b)目標類別的直方圖分布；(c)影像模態的直方圖分布；(d)圖像分辨率的直方圖分布。 方法展示

SAM提供不同類型的分割提示Prompt，包括點和方框等。點的提示包括表示前景的正樣本和表示背景的負樣本點。方框表示需要分割的物體的區域。我們的測試策略包括Everything模式：自動分割(S1H,S1B)以及Prompt模式：單個正樣本點(S2)、五個正樣本點(S3)、五個正樣本點和五個負樣本點(S4)、單個方框(S5)、單個方框和單個正樣本點(S6)，圖3展示了我們設計的SAM測試框架。

圖3 本研究設計的SAM詳細測試框架。 結果分析

本研究全面地評估了SAM的各種模式在大規模、多樣化的醫學影像數據集上的分割性能，DICE指標評估結果如圖4所示。

圖4 不同測試策略的DICE箱線圖。從上到下：S1H、S2、S3、S4、S5、S6。 基于實驗分析，我們的主要結論如下：

Everything模式不適用于大多數醫學影像分割任務。在這種模式下，SAM對醫學分割目標的感知能力較差，會輸出大量的假陽性預測掩膜（圖5）。

在Everything模式下，作為提示的網格采樣點數量會在一定程度上影響分割性能，如圖6所示。這是一個分割性能和測試效率的權衡。

在Prompt模式下，加入更多前景點可顯著提高SAM的分割結果。但醫學影像中的前景和背景很容易混淆，隨機加入負樣本點可能會引起分割性能下降。此外，方框提示（S5）包含豐富的物體位置信息。因此，在我們的研究中，方框提示在大多數醫學分割任務中比點提示表現好。在目前的研究中，混合策略（同時加入點提示和方框提示）的性能沒有明顯提升。這可能與SAM對混合提示的編碼能力有關。圖7和圖8展示了SAM在各種測試策略下的可視化結果。

分割目標的不同屬性可能影響SAM對醫學分割目標的感知能力。特別是，SAM可能會對具有復雜形狀、小面積或低對比度的目標分割效果不好。圖9展示了DICE與目標的不同屬性之間的關系。

圖5 Everything模式的可視化結果。

圖6 Everything模式下網格采樣點數量對分割性能的影響。

圖7 典型的SAM良好案例。

圖8 典型的SAM失敗案例。

圖9 DICE與目標不同屬性的散點圖。 總的來說，盡管SAM有可能成為一個通用的醫學影像分割模型，但它在醫學影像分割任務中的表現目前還不穩定。因此，未來的研究重點應該在如何有效地使用少量醫學影像來微調SAM以提高模型的可靠性，搭建屬于醫學影像的Segment Anything模型。此外，拓展3D-SAM, 并探索其對三維容積數據的分割性能也是一個有趣的方向。我們希望這份報告能較為詳盡地幫助讀者和社區更好地了解SAM在醫學影像分割中的性能優劣，并最終促進新一代醫學影像分割基礎大模型的發展。 真誠感謝所有公開數據集的組織者和所有者的開源貢獻，我們也將籌備開源所整理的數據集，以促進領域和社區發展。同時，也非常感謝Meta AI公開發布了SAM的源代碼。 源碼鏈接：https://github.com/facebookresearch/segment-anything

審核編輯 ：李倩