天天看點

文獻速遞丨開發和驗證整合多模态資訊的可解釋模型以改善卵巢癌的診斷

作者:壹生

卵巢癌作為一種婦科常見惡性惡性良性腫瘤,其早期診斷對于提高患者生存率至關重要。然而,由于缺乏準确的非侵入性診斷工具,許多卵巢癌患者在确診時已處于晚期。近期,大陸的研究團隊在nature communications期刊上發表了一項研究,他們開發并驗證了一種名為OvcaFinder的新型診斷模型,該模型通過整合超聲圖像、放射科醫生評估和臨床參數,在提高放射科醫生識别卵巢癌的診斷準确性和一緻性方面展現出潛力[1]。現本文梳理研究核心内容,以飨讀者。

研究方法

本研究采用回顧性研究設計,納入了中山大學惡性良性腫瘤防治中心(SYSUCC)和重慶大學附屬惡性良性腫瘤醫院的患者群體,他們在經陰道超聲(TVUS)檢查中至少有一個可見的病理證明的附件病變。研究者共收集了2011年2月至2021年5月在SYSUCC的患者724個病變的3972張B型彩超圖像。将這些圖像随機分為訓練集、驗證集和内部測試集,比例為7:1:2。外部驗證資料集由2018年12月至2021年6月在重慶大學附屬惡性良性腫瘤醫院的患者387個病變的2200張圖像組成。

研究中,五名經驗豐富的影像科醫生參與了閱片,他們在不了解任何臨床病理資訊的情況下,對所有匿名化的圖像進行了評估。使用Ovarian-Adnexal Reporting and Data System (O-RADS)[2]對病變進行風險評分。

為建立一個基于圖像的深度學習(DL)模型,研究團隊采用了六種不同的卷積神經網絡架構,包括DenseNet12128、DenseNet16928、DenseNet20128、ResNet3429、EfficientNet-b530和EfficientNet-b630[3-5]。這些模型均使用ImageNet[6]預訓練權重進行初始化,并在訓練集上進行微調。通過使用資料增強技術,如随機水準翻轉、旋轉和顔色抖動,增強了模型的泛化能力。最終,通過內建這些模型的預測結果,形成了一個內建DL模型。

OvcaFinder模型是基于随機森林(RF)算法建構的多模态資訊模型。該模型整合了三個臨床參數(患者年齡、病變直徑和CA125濃度)、影像科醫生的O-RADS評分以及DL模型的預測(Fig. 1)。為了優化模型性能,研究者開發了多個RF模型,并确定了最佳的估計量數量。最後,為了增強OvcaFinder的可解釋性,研究者應用了熱圖和Shapley值。熱圖通過梯度權重類激活映射(Grad-CAM)技術生成,突出顯示了對模型預測至關重要的圖像區域。Shapley值則用于量化每個輸入特征對模型輸出的貢獻,提供了模型預測的全局和局部解釋。

文獻速遞丨開發和驗證整合多模态資訊的可解釋模型以改善卵巢癌的診斷

統計分析方面,研究者計算了模型的AUC、準确性、敏感性、特異性、陽性預測值和陰性預測值,并使用非參數自舉方法計算了95%置信區間。通過比較不同模型和閱讀者的性能,研究者評估了OvcaFinder的診斷性能,并使用pROC庫和McNemar檢驗進行了統計顯著性分析。

研究結果

基線資訊

如Table 1所示,SYSUCC有3972張B型彩超圖像,涵蓋了296個(40.9%)良性和428個(59.1%)惡性病變,共來自724名患者(平均年齡:48 ± 13歲;範圍:16-82歲)。病變直徑範圍為10~224 mm,平均直徑為74.3 mm(标準差(SD):35.5 mm)。CA125濃度範圍為4~37,827 U/mL。這些患者被随機分為訓練集(2941張圖像,532個病變)、驗證集(334張圖像,63個病變)和内部測試資料集(697張圖像,129個病變)。在外部隊列中,有來自387名患者(平均年齡:43 ± 12歲;範圍:18-83歲)的2200張圖像。平均病變直徑為71.2 mm(SD:35.0 mm)。CA125濃度範圍2~46,090 U/mL。在509個惡性病變中,有57個邊緣性惡性良性腫瘤(11.2%)。對于惡性病變,平均病變直徑為83.4 mm(範圍:13~225 mm)。以35 U/mL為門檻值,近88.2%(449/509)的患者評估了CA125水準。在超聲圖像中,分别有272名和306名患者發現腹水和腹膜增厚或結節。

文獻速遞丨開發和驗證整合多模态資訊的可解釋模型以改善卵巢癌的診斷

O-RADS評分表現

完成教育訓練後,五名閱片者在附件惡性良性腫瘤分類中顯示出高診斷性能。O-RADS評估分數被标準化到0到1的範圍内,以計算AUCs的性能。内部測試資料集的平均AUCs為0.927,外部隊列為0.904。閱片者在内部資料集中的平均敏感性為96.2%,特異性為73.3%,在外部隊列中的平均敏感性和特異性分别為85.7%和81.8%。

DL預測模型表現

DenseNet121、DenseNet169、DenseNet201、ResNet34、EfficientNet-b5和EfficientNet-b6在内部測試資料集中使用B型彩超圖像,在病變水準上實作了0.898~0.923的AUCs,在外部測試資料集中AUCs為0.806~0.851,這比最終內建的DL模型要差。內建模型在内部資料集中顯示了0.970的AUC,97.3%的敏感性和74.1%的特異性。在外部隊列中,AUC降低到0.893,敏感性為88.9%,特異性為68.6%(Table 2)。如Fig. 2所示,熱圖中的紅色區域對病變分類的貢獻最大,而藍色區域較不重要。具體來說,在B型彩超圖像上,不規則的實性成分或突出部分在熱圖中被突出顯示,并且是惡性預測的有價值特征。關于彩色多普勒圖像,熱圖專注于血管生成豐富的區域。這與臨床實踐中卵巢惡性良性腫瘤的診斷标準一緻。對于良性病變,在内部和外部測試資料集中分别有27.8%(15/54)和19.8%(60/306)的病例顯示出熱點。對于惡性病變,在内部和外部測試資料集中分别有4.0%(3/75)和12.3%(10/81)的病例未觀察到熱點顯示。

文獻速遞丨開發和驗證整合多模态資訊的可解釋模型以改善卵巢癌的診斷
文獻速遞丨開發和驗證整合多模态資訊的可解釋模型以改善卵巢癌的診斷

臨床模型表現

在内部測試資料集中,臨床模型實作了0.936的AUC,97.3%的敏感性和40.7%的特異性。在外部隊列中,臨床模型産生了0.842的AUC,85.2%的敏感性和53.3%的特異性(Table 2)。

OvcaFinder模型表現

如Fig. 3所示,通過整合臨床資訊、O-RADS評分和基于圖像的DL預測,OvcaFinder在内部測試資料集中顯示出比臨床模型(AUC:0.936,p = 0.007)和基于圖像的DL預測(AUC:0.970,p = 0.152)更高的性能(AUC:0.978 [95% CI: 0.953, 0.998])。在外部測試資料集中,OvcaFinder也優于臨床模型(AUC:0.842,p = 4.65 × 10-5)和基于圖像的DL預測(AUC:0.893,p = 3.93 × 10-6),其AUC為0.947(95% CI: 0.917, 0.970)。

文獻速遞丨開發和驗證整合多模态資訊的可解釋模型以改善卵巢癌的診斷

為了進行公平比較,研究者通過保持相似的敏感性來比較三個模型的特異性。在内部測試資料集中,當敏感性保持在97.3%時,OvcaFinder顯示出比臨床模型(40.7%,p = 1.52 × 10-5)和DL預測(74.1%,p = 0.062)更高的特異性。在外部隊列中,當保持與其他模型相似的敏感性時,OvcaFinder顯示出90.5%的特異性,優于臨床模型(53.3%,p = 2.21 × 10-29)和基于圖像的DL預測(68.6%,p = 1.36 × 10-20;Table 2)。此外,觀察到基于圖像的DL預測在OvcaFinder的決策預測中最為重要,其次是O-RADS評分、CA125濃度、患者年齡和病變直徑(Fig. 4)。

文獻速遞丨開發和驗證整合多模态資訊的可解釋模型以改善卵巢癌的診斷

閱片者的AUC值範圍從0.900到0.958。但在OvcaFinder的幫助下,AUC值顯著提高,内部測試資料集範圍從0.971到0.981,沒有降低敏感性。所有閱片者在外部隊列中也觀察到了類似的改進。此外,OvcaFinder提高了閱片者的診斷準确性,并減少了假陽性(Fig. 5和Table 3)。平均假陽性率從26.7%(範圍:13.0~38.9%)降低到13.3%(範圍:7.4~18.5%,p = 0.029),并且在内部和外部隊列中分别從18.2%(範圍:10.8~29.4%)降低到9.9%(範圍:8.2~12.4%,p = 0.033),這可能會避免不必要的活檢或手術。

文獻速遞丨開發和驗證整合多模态資訊的可解釋模型以改善卵巢癌的診斷
文獻速遞丨開發和驗證整合多模态資訊的可解釋模型以改善卵巢癌的診斷

卵巢癌診斷的閱片者間一緻性在Table 4中進行了總結。内部和外部測試資料集中的閱片者間kappa值分别為0.711~0.924和0.588~0.796,表明了從尚可到極好的一緻性。使用OvcaFinder後,内部測試資料集中的閱片者間kappa值提高到了0.886~0.983,外部隊列中為0.863~0.933,表現出極好的一緻性。

文獻速遞丨開發和驗證整合多模态資訊的可解釋模型以改善卵巢癌的診斷

研究結論

OvcaFinder作為一種新型的多模态資訊整合模型,在提高卵巢癌診斷準确性方面展現出巨大潛力。該模型不僅能夠提高放射科醫生的診斷性能,減少不必要的手術,還能夠通過熱圖和Shapley值提供決策解釋,增強了模型的可解釋性。研究團隊指出,OvcaFinder的未來發展将包括進一步優化模型,并在更廣泛的患者群體中進行驗證。

參考文獻:

1. Huiling, Xiang,Yongjie, Xiao,Fang, Li et al. Development and validation of an interpretable model integrating multimodal information for improving ovarian cancer diagnosis. PG - 2681[J] .Nat Commun, 2024, 15: 0.

2. Andreotti, R. et al. O-RADS US Risk Stratification and Management System: A Consensus Guideline from the ACR Ovarian-Adnexal Reporting and Data System Committee. Radiology 294, 168–185 (2020).

3. Huang G., Liu Z., Laurens V. & Weinberger K. Q. Densely Connected Convolutional Networks. IEEE Computer Society, 2261–2269 (2016).

4. He K., Zhang X., Ren S. & Sun J. Deep Residual Learning for Image Recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 770–778 (2016).

5. Tan M. & Le Q. V. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks. International conference on machine learning. 6105–6114 (2019).

6. Krizhevsky, A., Sutskever, I. & Hinton, G. E. ImageNet classification with deep convolutional neural networks. Commun. ACM 60, 84–90 (2017).

聲明:本文的釋出由阿斯利康提供支援,僅供醫療衛生專業人士參考

審批編号:CN-134932

有效期至:2025-5-7

繼續閱讀