【醫療人工智能】胃腸内窺鏡計算機視覺和機器學習調查

Article

• 作者：Anant S. Vemuri
• 文獻題目：胃腸内窺鏡計算機視覺和機器學習調查
• 文獻時間：2019

  胃腸内窺鏡計算機視覺和機器學習調查

  • Article
  • 摘要
  • 内窺鏡應用

摘要

• 本文試圖為讀者提供一個開始研究計算機視覺和機器學習在胃腸 (GI) 内窺鏡檢查中的應用的地方。 它們被分為18類。 讀者需要注意的是，這是對前深度學習時代的回顧。 許多基于深度學習的應用程式在本論文中沒有涉及。

内窺鏡應用

• 臨床應用分為以下 18 大類：
  • 1）息肉檢測和分類 (PD)：
    • 所有結直腸癌 (CRC) 均由發育不良的前體病變發展而來。在存在易感因素如發炎性腸病 (IBD) 或缺乏易感因素的情況下，這都是正确的，零星發生病變。從宏觀上看，結腸中觀察到的病變形狀已按照 [1]、[2] 中的描述進行分類。此類應用涉及首先檢測結腸鏡檢查期間可見的息肉，然後根據其類型進行分類。在 [3] 中，使用圖像中顔色和像素位置的特征描述符用于使用 SVM 進行息肉檢測，在 [4] 中，将該特征與彩色小波協方差和 LBP 進行比較。在 [5]、[6] 中，使用 GLCM 的紋理特征與使用 SVM 進行分類的 LBP 進行了比較。 [7] 提出使用邊緣，然後在使用 GLCM 進行紋理特征檢測之前對圖像進行霍夫變換。他們使用了 adaboost 分類器。在[8]中，首先定義了一個由強度谷包圍的息肉外觀模型，包括鏡面高光和血管，使模型具有魯棒性。使用此生成息肉定位能量圖，然後将其用作息肉分割的輸入。另請參閱 [9]–[11] 了解更多詳細資訊。 [12] 提出了一種稱為區域特征分類 (CoRF) 的算法，它是稀疏矩陣和矢量量化的擴充，用于特征檢測和分割。 CoRF 通過包含關于區域特征形狀的訓練碼本解決了矢量量化的固有塊選擇問題。他們證明，與 k-means 或 LGB 聚類相比，這種方法更适用于息肉檢測和分割。
    • 在 [13] 中，作者評估了從 Gabor 和雙樹複小波變換的子帶中提取的圖像特征的判别能力，用于對變焦内窺鏡圖像進行分類。此外，他們還結合了顔色通道資訊并表明，與僅基于亮度的處理相比，這會帶來更好的分類結果。後來，在[14]中，提出了一種彩色小波交叉共生矩陣，并用它來獲得分類的統計特征。這種新的基于小波域的顔色紋理特征擴充了經典共生矩陣的概念，以捕獲不同顔色通道的細節子帶對之間的資訊。然後使用具有歐幾裡德距離度量的 KNN 分類器将該描述符用于多邊形檢測。作者的進一步工作可以參考[13]-[15]。在 [16] 中，提出了一種使用血管分割來提取描述複雜血管拓撲的 22 個特征的多分類方法。三種特征選擇政策與模拟退火進行了比較，給出了息肉分類的最佳性能。 [17]，通過分析連接配接元件（斑點）的形狀提出了一個新的描述符。 使用 Pentax iScan chromoendoscopy 對息肉的 mu cosal 紋理分類使用凸包、骨架化、基于周長的特征和對比度特征直方圖來描述形狀。 讀者可參考以下著名作品進一步煽動； [18]–[46]
  • 2）潰瘍檢測 (UD)：
    • 食管和胃潰瘍是由 GORD 引起的。 在結腸潰瘍性結腸炎（IBD 的一種）中，當大腸（結腸）和直腸的内壁發炎時就會發生。 這種發炎會在結腸内壁産生稱為潰瘍的微小潰瘍。 它通常從直腸開始并向上蔓延。
    • [47] 中提出的方法涉及使用二維內建經驗模式分解将圖像分解為稱為固有模式函數的分量。 通過分解，得到了兩種基于缺損的顔色紋理特征； 内在紋理基元和像素強度分布之間的二階和更高階相關性。 SVM 分類器用于 UD 的這些特征。
    • 在 [48] 中，提供了三種圖像分解方法的概述： a) 經驗模式分解或 EMD； b) 內建 EMD 和； c) 提供固有模式函數 (IMF) 的二維 EEMD。在每個 IMF 處計算差分腔隙 (DLac) 度量，并且響應與潰瘍圖像的特征相比對。那些與疾病密切相關的 IMF 被選擇用于分解圖像的重建。之前計算的 DLac 響應向量用作特征向量。使用該描述符，執行 LDA、二次判别分析、使用馬氏距離的神經網絡和 SVM 之間的分類器性能比較。另一方面，在[49]中，作者使用基于缺損的顔色紋理特征來研究健康和異常組織的結構資訊如何在 RGB、HSV 和 CIE Lab 顔色空間上分布。在 [50] 中，HSV 顔色空間特征直方圖與使用 Contourlet 變換和 Log Gabor 濾波器提取的紋理特征一起使用，用于訓練 UD 的 SVM 分類器。在[51]中，提出了一種基于曲波的局部二進制模式用于紋理特征提取，通過訓練多層感覺器神經網絡分類器來區分潰瘍和正常區域。讀者可參考以下參考資料； [28]、[52]、[52]-[61]
  • 3）乳糜瀉檢測 (CED)：
    • 乳糜瀉是一種自身免疫性疾病，可發生在遺傳易感人群中，其中攝入麸質會導緻小腸受損。 在乳糜瀉病程中，粘膜失去其吸收絨毛，導緻吸收營養的能力大大減弱。 檢測的金标準是從可疑區域中提取活檢，在十二指腸鏡檢查期間使用不同的成像方式識别這些活檢。 在内窺鏡檢查過程中自動标記可疑區域的計算機輔助檢測方法已在文獻中得到廣泛探讨，以降低漏檢率。
    • [62]，通過使用線性 SVM 分類器提供 LBP、LTP、多分形譜、雙樹複小波變換、形狀曲率直方圖、Fisher 向量和局部聚合描述符向量之間的分類比較，提出了一種 CED 方法.它們還提供了在 NBI、高清變焦内窺鏡和标準白光内窺鏡下的比較。在 [63] 中，使用 Marsh 分類探索了 DT-CWT 的變體，用于内窺鏡圖像的自動分類。特征向量由來自 DT-CWT 變體的子帶的平均值和标準偏差或子帶的威布爾參數組成。通過在特征向量的尺度次元上應用 DFT 或 DCT 來獲得增強的尺度不變性。 k-NN 分類器與留一法交叉驗證一起使用。在[64]、[65]中，從圖像中提取空間域（直方圖）和變換域（小波或傅立葉）特征。介紹了 k-NN、SVM 和貝葉斯分類器之間的比較。以下參考資料提供了更多詳細資訊； [66]-[79]。
  • 4） 克羅恩病檢測 (CRD)：
    • 這是另一種 IBD，有時歸因于對無害細菌的侵襲性免疫反應，通過引起發炎（正常的免疫系統反應），導緻慢性發炎、潰瘍、腸壁增厚，最終引起患者症狀。 CRD 可以發生在從口腔到肛門的任何地方，但最常見的是在回腸和結腸開始處。 [80]，通過使用單個決策函數組合多個比對器的輸出，在存在複雜場景的情況下引入了通用圖像比對方法。 他們提供了在該架構下改進 SVM 分類器性能的研究。 [81] 提供了應用于克羅恩病的病竈分割架構。
  • 5）痔瘡和出血檢測（HD 和 BD）：
    • 痔瘡是位于肛門和直腸的腫脹組織和靜脈的瘙癢、疼痛或出血塊。另一方面，出血可歸因于多種原因，例如血管發育不良（腸道附近的血管異常）、息肉、潰瘍、克羅恩病、結腸癌，包括痔瘡。是以，出血的檢測非常重要，因為它通常表明管腔中的嚴重狀況。 [82]，使用由來自顔色共發生矩陣的 HSV 直方圖、主色和紋理特征組成的描述符。主色特征向量包括8種代表色、它們的方差及其在圖像中的百分比。他們提出了一種基于無監督聚類和來自每個聚類的機率驅動采樣的下采樣政策，以保留幾何結構，同時使用更少的執行個體來訓練 SVM 分類器的集合。 [53] 對所有 MPEG-7 描述符進行了研究，以确定最适合 BD、UD 和 PD 的描述符。實驗表明，使用可縮放顔色和均勻紋理描述符時獲得了最佳結果，尤其是當使用 PCA 僅使用相關系數時。在 [83]、[84] 中，訓練了一個 ANN 分類器，在 RGB 和 HSV 空間中提取紋理特征。使用具有圖像協方差權重的 CIE-LAB 顔色空間提出了一種替代方法。 [85] 引入了裁剪照明不變顔色空間，通過比較局部直方圖之間的相似性而不是檢查指定模式的存在，來計算替代的二進制特征向量，而不是傳統的顔色直方圖。使用此二進制特征向量訓練 SVM 分類器。在 [86] 中，像素通過超像素分割進行分組，對于每個超像素，RGB 空間中的紅色比例用作特征描述符，用于訓練 SVM 分類器。 [87] 在色調空間中使用統計紋理描述符來訓練 k-NN 分類器。 [88] 提出了使用 YIO 定義内在顔色模型。這用于提取統計特征以訓練 BD 的 SVM 分類器。如需進一步閱讀，請參閱以下參考資料； HD - [89]、[90] 和 BD - [56]-[58]、[60]、[91]-[107]
  • 6）食道組織分析 (OA)：
    • 食道癌主要有兩種類型；鱗狀細胞癌和食管腺癌 (OAC)。鱗狀細胞癌最常見于吸煙和過度飲酒的人。然而，OAC 最常見于胃食管反流病 (GORD) 患者。在過去的二十年中，後一種情況的頻率有所增加。 GORD，一種良性并發症，當胃酸進入食道下部時引起。作為一種慢性病，它會導緻食道内壁發生變化，導緻組織類似于腸壁。這種病理狀況被稱為巴雷特食管 (BO)。幾項研究表明 BO 與 OAC 有直接聯系。 OAC 似乎是通過在食管下段細胞中觀察到的進行性發育不良 [108]、[109] 從 Barrett 粘膜産生的。能夠對癌前組織進行分期的可能性，為早期診斷和靶向治療提供了空間，避免了緊急手術幹預，如食管切除術。
    • 包括計算機輔助檢測這些條件以輔助診斷的文獻綜述方法。 [110] 建議使用從異構顔色空間計算的異構描述符。提出了一種分層異構描述符 SVM 架構，而不是将描述符連接配接到超向量，以同時将異構描述符應用于 GORD 診斷并克服維數問題。 [111] 提出了一種基于内容的圖像檢索架構，用于基于顔色紋理分析檢測食道癌前病變。他們的方法的新穎之處在于相關回報算法提供的互動循環，以提高檢測精度。 [112]，提出了 SVM、K-NN 和 boosting 在 NBI、WL 和色素内鏡下檢測 OA 的比較評估。 [113] 建議使用局部顔色和紋理特征訓練 SVM 分類器，從原始圖像和 Gabor 過濾圖像。根據癌組織的光譜特性，設計了特定的濾光片。
  • 7）運動檢測 (MD)：
    • 這是一個術語，用于描述混合和推動胃腸道内容物的肌肉收縮，胃腸道的四個區域中的每一個都表現出特定的特征運動，并被括約肌和異常運動分開或腸道任何部分的敏感性都可能導緻特征性症狀 [114]。在[115]中，高斯濾波器的拉普拉斯算子用于提取流明，然後在專家的幫助下将整個9幀序列的流明面積與經驗設定的兩個特定門檻值進行比較。執行基于光流的自我運動估計，并在自我運動表示上使用相關向量機分類器來提取具有運動性的圖像。 [116] 解決了在提供相關但未标記的資料集（用于 MD）時從非常小的樣本集學習魯棒分類函數的問題。在[117]中，在系統的第一級，每個視訊都經過處理，産生了許多可能的收縮序列。為了編碼腸道運動的模式，提取了一組腸腔的紋理和形态特征。在第二部分中，收縮序列的最終識别是通過支援向量機分類器進行的。 [118]，提出了一種基于各向異性圖像過濾和收縮特征的有效統計分類的新方法。特别是，圖像梯度張量被應用于從原始圖像中挖掘資訊骨架和用于捕獲收縮特征模式的描述符序列。 [119], [120] 通過谷和脊檢測使用線性徑向圖案。在這種情況下，他們提出了使用可控過濾器的方向資訊描述符。自組織映射用于 MD 的一般摘要。後來，在 [121] 中，使用紋理、顔色和斑點特征來訓練 MD 分類器。在[122]-[124]中，提出了兩組特征。首先，基于運動的特征，其中通過使用類似 Gabor 的濾波器使用谷檢測來執行收縮瓦片活動表征。然後，谷圖像被轉換為​​代表谷位置的一維信号。執行代表谷位置信号收縮的峰值檢測。其次，通過應用均值偏移聚類來減少顔色分布中的噪聲，執行流明周長估計。然後在灰階圖像上，執行門檻值以分割管腔。然後使用形态學算子檢測腸腔中的平滑區域。 SIFT Flow Directions 直方圖的組合來描述流動過程； SIFT 描述符來表示圖像腸道結構和；在 [125] 中提出了量化腸道變形的 SIFT 流量大小。
  • 8）内窺鏡異常檢測和分類 (ABD)：
    • 這是一個廣泛的類别，包括上述任何類别中無法在臨床上分類的所有類型的病變或異常。 這裡介紹的方法不關注任何特定的疾病狀況，而是旨在區分正常組織和異常組織。 [126] 回顧了結腸鏡視訊中用于病變檢測的各種特征描述符。
    • [127] 提出，對不同顔色通道的紋理分析，使用小波變換來選擇包含最重要紋理資訊的波段。後來，在 [128] 中，來自兩個不同尺度的共生矩陣的紋理描述符與來自 GLCM 的二階和更高階矩結合使用原始圖像作為描述符。在[129]中，統計紋理描述符是從圖像在多個方向和尺度上的離散曲波變換中擷取的。紋理描述符的協方差被用作最終的特征向量。 [130]，對從小波分解和離散曲波變換獲得的描述符之間進行了比較。在每種情況下，使用所描述的特征向量訓練 ANN 分類器。 [131] 提出在 BoW 模型中使用圖像塊，該模型使用基于随機森林的聚類生成，用于訓練 SVM 分類器。在 [132]、[133] 中，對 WCE 圖像的 R、G、B、H、S、V 通道中的圖像計算了顔色直方圖統計資料。此外，通過使用 LTP 為每個像素收集局部紋理資訊，并将其标記為紋理單元的一部分。這個完整的資訊向量用于使用神經網絡進行分類，該神經網絡使用貝葉斯 ying-yang 方法進行訓練，以最大化熵。
    • [134] 使用圖像級注釋來學習一組線上局部特征，用于圖像中提取的斑塊中的腺瘤檢測。基于 BRISK 的空間結構用于采樣像素以學習視覺描述符。 [135]，提出了一種擴充的高斯濾波 LBP 描述符，對光照變化和噪聲具有魯棒性。據稱該算法能夠捕獲更多資訊豐富的類邊緣特征。 [136]基于潛在語義分析（LSA）的思想提出了一種選擇叢集對子集的新方法，并提出了一種新的叢集間統計，它比傳統的共現資訊捕獲了更豐富的資訊。在[137]中，作者提出了兩種方案。第一個，處理全分辨率圖像，第二個處理多尺度金字塔空間。有了這個架構，可以使用任何特征描述符；但測試了多分辨率 LBP。在[138]中，對于每個顔色通道，從圖像塊中提取Root-SIFT 和多分辨率局部模式描述符。完整的參考文獻集，讀者可參考以下清單：[58]、[59]、[139]-[190]
  • 9） 内窺鏡導航（NAV）和六自由度定位（LOC）：
    • 導航是指利用目前的内窺鏡圖像資訊，确定下一步要去哪裡。 在某些方面，它為内窺鏡指明了前進的道路。 而定位使用前幾秒的資料來估計内窺鏡在胃腸道中的目前姿勢或解剖位置。 這些資訊可以有兩種形式； 通過對組織結構進行分類來确定胃腸道斷面的知識，如食管、胃、十二指腸、回腸等； 或者其次，通過估計完整的内窺鏡運動以獲得内窺鏡的6自由度姿态。
    • [191]，将結腸模組化為圓柱體。 通過估計每個連續幀之間的相機運動參數，提取了結腸表面圓柱體的圓周帶。 從相鄰的視訊幀中注冊這些提取的帶圖像提供了一個可見性圖，它可以揭示臨床醫生從結腸鏡檢查視訊中未探索的區域。 [192] 提出，從 WCE 圖像中的光流場學習姿勢。 使用以流明為中心和基于網格的方法生成特征描述符。 ANN 用于評估從 WL 和 NBI 圖像中提取的描述符的強度。 在 [193]、[194] 中，作者提出提取 SURF 特征并使用基于 RANSAC 的比對來估計連續幀之間的單應性以提供導航幫助。 [195] 建議在内窺鏡檢查中使用流明檢測進行圖像引導的視覺伺服。 對于 NAV 應用，請讀者檢視以下附加參考文獻 [196]-[216]。
    • [217]、[218] 建議使用 MPEG-7 特征以及矢量量化和 PCA 來進行描述符壓縮。 訓練神經網絡使用計算的特征對胃腸道的不同部分進行分類。 [219]，提出 WCE 連續幀的多尺度彈性配準和投影幾何提取以确定膠囊内窺鏡的姿态。 [220] 采用基于 Gabor 濾波器的紋理描述符來檢測 WCE 視訊流中的十二指腸。 對于 [221]，該論文提出了一種用于完整 6-DOF 姿态恢複的滾轉角估計。 [222] 提出了一種 WCE 運動的混合跟蹤方法，內建了磁傳感和基于圖像的定位。 [223] 提出了一種使用腸道運動來定位内窺鏡的方法。 這些額外的參考文獻完善了文獻中的 NAV 清單：[224]-[229]
  • 10） 手術内和手術間重新定位（IAO 和 IRO）：
    • 基于 IAO 的方法側重于在單個程式中檢測、跟蹤和定位活檢部位。這些方法主要側重于 BSR。 IAO 重新定位的首批方法之一由 Alllain 等人發表。 [230]、[231]。在他們的方法中，作者提議在活檢位置周圍的尺度空間中計算特征點，然後使用尺度不變特征變換 (SIFT) 提取這些點的描述符，以比對兩個内窺鏡視圖。然後使用對極限制，計算兩個視圖之間的基本矩陣，映射活檢部位以促進重新定位。在 [232] 中，提出了一個用于表征和傳播活檢點定位中的不确定性的架構。蒙尼等人。 [233] 對應用于可變形組織跟蹤的各種特征描述器進行了審查，并在 [234] 中提出了一種擴充卡爾曼濾波器 (EKF) 架構，用于基于同步定位和映射 (SLAM) 的可變形場景中的特征跟蹤方法，例如在腹腔鏡手術中。然後在 [235] 中擴充了該 EKF 架構，用于在術中維護腔内手術活檢部位的全局地圖。作者在胃和食道的體模模型上對 EKF-SLAM 進行了評估。詹納魯等人。 [236] 提出了一種對軟組織變形魯棒的仿射不變各向異性區域檢測器。 [237] 将其與 SIFT 描述符一起使用。然後将特征比對問題模組化為馬爾可夫随機場 (MRF) 标記的全局優化。最近，葉等人。 [238]、[239] 分三個階段完成了活檢部位的重新定位。首先使用 Kalal 等人提出的跟蹤學習檢測 (TLD) 方法。 [240]。 TLD 用于跟蹤所選活檢部位周圍的多個區域。在可以使用局部仿射變換近似區域組織變形的假設下，估計比對區域中心之間的局部單應性。通過這種方式，可以跟蹤活檢部位周圍的多個區域，然後将這些區域用于單應性估計和活檢部位的映射。王等人。 [241] 建議從幾次胃鏡幹預的圖像序列中學習圖（圖集）。考慮到胃的變形在相似幀之間不大，學習圖集的節點通過估計的剛性變換連接配接。是以，對于任何給定的幹預，活檢部位從單個（參考）幀到後續幀的映射被簡化為圖形搜尋問題。首先，對于參考坐标系和移動坐标系，計算它們在圖中對應的比對節點。使用 Dijkstra 算法，獲得了這些比對節點之間的最短路徑。是以，參考坐标系和移動坐标系之間的變換被獲得為沿着圖的相應比對節點之間的最短路徑的剛性變換的關聯組合。
    • 相比之下，IRO 方法試圖在幹預之間提供本地化。 [242] 提出使用電磁跟蹤系統 (EMTS) 來定位胃中的活檢部位。他們使用 SLAM 建構了胃的 3D 模型，并将使用 EMTS 跟蹤的活檢點映射到 3D 模型上。在每次幹預期間，通過手動選擇五個參考點來進行術間配準。在 [243]、[244] 中，Atasoy 等人。建議将重定位制定為圖像流形學習過程。該方法首先涉及在監視幹預的圖像之間建構鄰接圖。使用歸一化互相關作為圖像幀之間的相似性度量來計算鄰接圖。然後使用[245]中提出的拉普拉斯特征圖分解，計算線性投影矩陣。這種投影到流形上的近似值用于計算幹預中所有圖像的低維表示。然後，使用場景關聯提出了兩種用于執行互操作重新定位的獨立方法。在 [244] 中，場景關聯是通過直接在早期監視内窺鏡檢查的低維表示上計算最近鄰來執行的。然而，在 [243] 中建議進行兩次監測内窺鏡檢查，其中之前進行了虛拟監測，用于與實際監測的場景關聯。作者聲稱，[243] 中的修改方法允許在組織中存在顯着結構變化的情況下進行場景關聯。對于結腸鏡手術，非常需要提供導航幫助。最早的方法之一是将術前 CT 的 3D 重建與稱為虛拟結腸鏡檢查的内窺鏡視訊相結合。它的主要方面涉及計算光流以估計結腸鏡的自我運動。自我運動或視覺裡程計首先涉及從圖像中提取特征并計算光流場。然後，使用流場，将估計相機運動。在 [246] 中，作者比較了兩種自我運動估計方案，監督和無監督。 [192] 中所示的監督方法需要以光流測量和相應的相機運動資料的形式提供訓練資料。然而，無監督方法使用視訊幀和多視圖幾何之間的圖像對應來估計内窺鏡運動，如 [247] 所示。理論上，這些方法也可以應用于食管手術。第一次内窺鏡檢查可用于獲得食道的 3D 重建，并可用于後續監測程式。但是，GI 程式中基于視訊的 3D 重建仍然是一個開放的研究領域。然而，額外的術前成像（例如 CT）可用于重建食道。是以，此類方法不具有成本效益，也不用作正常程式的一部分。
  • 11） 流明檢測（LD）：
    • LD 本身可用于 NAV、LOC、MD 等。 [248] 提出，全局門檻值，然後是使用動态山丘聚類優化的差分區域生長以提取流明。在 [249] 中，類 Haar 特征結合 adaboost 用于選擇最具辨識力的特征。然後，使用增強的級聯分類器進行流明檢測。在 [250] 中，使用 Otsu 門檻值來分割圖像的較暗區域。建構了二值化圖像的金字塔結構，并從最小的圖像中，将區域種子生長回原始圖像分辨率以檢測流明。在[251]中，所提出的方法基于流明的外觀和幾何形狀，我們将其定義為最暗的圖像區域，其中心是圖像梯度的中心。在 [252] 中，所提出的技術遞歸地應用 Otsu 程式來獲得粗略的 ROI，然後對其進行 Iris 濾波器操作，以便可以識别較小的增強區域。然後将增強區域遞歸地進行 Otsu 程式，并重複執行 Iris 過濾器操作的過程。 [253]，開發了一種可變形區域模型方法，通過使用最小交叉熵算法給出管腔的近似邊界平面，從内窺鏡圖像中提取管腔，然後變形以自動計算真實邊界。
  • 12）無資訊幀或區域檢測 (UI)：
    • Section sec:challenges 早先介紹了 UI 架構的構成。在這種情況下需要注意的是，任何内窺鏡架構都不需要完全提供資訊或完全 UI。是以，文獻中提出的一些方法也嘗試識别 UI 區域。 [254] 提出使用多階段方法進行 UI 區域檢測，包括 Chan-Vese 分割、顔色範圍比、自适應伽馬校正（AGCM），最後使用帶有形态處理的精明顔色邊緣檢測算子。 [255]，提出使用圖像 DFT 的紋理分析并使用 k 均值聚類對 UI 幀進行分類。 [256] 建議使用 DWT 分解的 L2 範數作為提供給貝葉斯分類器的特征。在 [257] 中，Ohta 空間中的局部顔色矩以及 HSV 顔色直方圖被用作特征，在 UI 幀移除的第一階段訓練 SVM 分類器。在第二階段，執行基于高斯拉蓋爾變換的多分辨率分解并對響應進行門檻值處理。作者還介紹了與基于 Gabor 和小波的描述符的比較。在[258]提出的方法中，在圖像的網格上計算兩個值； a) 使用高斯核卷積的暗區識别 (DRI)。 b) 定向梯度累加(DGA)。然後由低 (DRI) 和高 (DGA) 定義 UI 區域。 [259] 建議執行分水嶺分割，然後是形态學閉合和基于邊界的區域合并。在第一次合并之後，使用平均灰階值在滑動視窗上進行基于區域的合并。五個憑經驗選擇的區域配置檔案用于門檻值處理。在[260]中，提出的方法涉及基于均值偏移的流明檢測和用于選擇資訊幀的相幹運動評估。 [261]，使用從 Gabor 濾波器組中提取的紋理特征和前饋神經網絡進行 UI 分類。 [262] 提出了三種在 WCE 幀中進行 UI 區域檢測的方法，使用從形态學操作中提取的特征、統計特征和基于 HSV 顔色空間中的 Gabor 濾波器的特征。使用了模糊 k 均值、Fisher 檢驗和基于神經網絡的鑒别器。以下參考文獻給出了文獻中提出的此類别的方法：[263]-[270]
  • 13） 鏡面高光檢測和去除 (SHD)：
    • 雖然圖像中的鏡面高光構成了 UI 區域，但這種特殊類别的方法不僅試圖識别這些區域，還試圖糾正它們。 在 [271] 中，使用以下方法處理鏡面高光：基于非線性過濾和彩色圖像門檻值的分割方法，然後是快速繪制方法。 [272]中提出的方法旨在解耦内窺鏡圖像的鏡面反射和漫反射分量，以抑制鏡面反射。 引入随機貝葉斯估計方法來估計内窺鏡圖像的鏡面反射分量。 執行圖像區域的蒙特卡羅采樣以計算後驗機率。 [273]，描述了使用雙色反射模型（DRM）和多分辨率修複技術獲得校正區域的鏡面反射去除架構。
  • 14）内窺鏡重建 (REC)：
    • 靈活的内窺鏡手術中的 3D 重建是一項非常具有挑戰性的任務。除了已經讨論過的 UI 架構，可變形環境中可重複特征的存在帶來了重大困難，如果克服，可以幫助輔助診斷、術前計劃和術後檢查。 ?? 中讨論的特征檢測器經常用于從圖像中恢複 3D。在[274]中，跟蹤的特征點用于估計相機參數并提供息肉大小的估計。 [275] 建議使用基于标準化 SSD 的 monoSLAM 的 SIFT 特征進行食管的 3D 重建。 [276] 采用 Shi-Tomasi 特征，并将它們從着色架構中用于重建的形狀。 [277]、[278] 建議使用 SIFT 檢測器和描述符的仿射不變版本來估計對極幾何并恢複 3D。在[279]、[280]中，首先檢測和處理結腸折疊輪廓的邊緣以生成重建的虛拟結腸的線框。提出了一種利用單幅結腸鏡圖像進行結腸褶皺輪廓估計的算法，并介紹了利用像素亮度強度對結腸褶皺進行深度和形狀估計的方法。在[281]中，使用陰影形狀來重建息肉以更好地識别。 [208] 描述了一種通過視覺跟蹤執行胃全景的方法。 [214] 提出了一種基于運動的方法的結構，該方法利用了 6-DOF 跟蹤裝置，該裝置用于在手術過程中記錄内窺鏡的位置。特征跟蹤後，應用空間限制政策去除異常值并恢複丢失的資料。在[45]中，提出了一種使用Shape from Shading技術使用單個WCE圖像重建胃腸道3D紋理表面的方法。 [282] 使用圓形廣義圓柱體作為胃腸道 3D 重建的基礎。該模型被分解為一系列 3D 圓，并提出了一個 MRF 架構來最大化後驗估計。在 [216] 中，将 3D 模型和全景視圖合并到導航系統中，并進行了三項改進：參考選擇和特征跟蹤；用于建構局部和全局全景的透視投影。使用來自運動的結構來執行 3D 表面模組化。該系統針對三個臨床應用進行了評估：擴大内窺鏡視野、執行非侵入性重新定位和确定整體病變位置。 [283] 建議在 WCE 中使用流明檢測來使用來自 WCE 跟蹤器的慣性資訊建立 3D 地圖。
  • 15） 内窺鏡圖像增強 (IE)：
    • 這一類别是指一類針對預處理步驟以提高可見圖像品質和特征響應的方法。 在 [284] 中，作者評估了不同的基于重建的超分辨率算法，以提高 HD 内窺鏡擷取的内窺鏡圖像的空間分辨率，并确定其在 HD 内窺鏡中研究精細粘膜結構的可行性。 為了克服相當暗的 WCE 圖像，[285] 中提出了一種自适應對比度擴散濾波。 [286] 提出 ROI 增強是為了對 GI 專家要檢查的區域進行顔色校正。 [287] 提出了 WCE 幀的顔色增強，以獲得基于紋理的魯棒特征。 [288]，建議使用同态濾波，[94] 描述了一種自适應各向異性擴散預處理，用于在特征提取之前進行圖像增強。
  • 16） 内窺鏡視訊摘要 (ES)：
    • 這主要是屬于無線膠囊内窺鏡的一個類别。由于大量的幀來分析方法已經開發出使用不同的方法來最小化這個時間。 [289] 提出了一種新的快速時空技術，該技術可以檢測操作場景、視訊片段對應于單一目的診斷動作或單一目的治療動作。在 [270] 中，提出了一種分割 WCE 視訊的方法。為此，首先使用顔色和小波紋理特征來表示 UI 區域。然後在兩個層次上估計 WCE 視訊相鄰器官之間的邊界。在課程層面，利用顔色特征繪制幀之間的差異曲線，目的是找到曲線的峰值，代表近似邊界。在精細層面，提取HSV顔色空間中的Hue-Saturation直方圖顔色特征和灰階圖像中的均勻LBP紋理特征。這些特征用于訓練用于視訊分割的 SVM 分類器。在[290]中，提出了一種兩步法進行總結。第一步包括半監督聚類和局部尺度學習 (SS-LSL) 算法。該算法用于将視訊幀分組到原型叢集中，這些叢集使用從訓練幀中推導出的限制來總結 CE 視訊。第二步由一個新穎的關系運動直方圖描述符組成，該描述符旨在表示兩個連續幀之間的局部運動分布。 [291] 提出使用文本子對對應于胃腸道不同區域的視訊片段進行分類。 [292] 回顧了用于 WCE 圖像分析的各種顔色和紋理描述符。使用基于 [293] 中的 Hoeffding 不等式的穩健統計檢驗檢測持續腸道活動的部分。 [294] 建議使用使用 DCT 和 PCA 組合壓縮的 HSV 直方圖來識别 WCE 視訊中的不同區域。 [295] 提出了一種基于顯着圖的分層關鍵幀提取算法，以自動選擇少量關鍵資訊幀。 [296] 提出了一種基于使用對稱非負矩陣分解進行聚類的方法，由模糊 c 均值算法初始化并由非負拉格朗日松弛支援，從視訊場景中提取包含最具代表性幀的視訊場景子集。整個考試。 [297]、[298] 提出使用連續幀中的 SURF 特征點和基于 RANSAC 的比對來估計連續幀之間的單應性，以實作 WCE 的快速視訊浏覽。 [158] 中提出了一種無監督的 k 視窗聚類來聚類視訊幀。每個叢集都在不同的神經網絡上進行訓練以進行彙總。 [299] 描述了一種新穎的顔色紋理特征來描述 WCE 視訊中幀的内容。使用提取的特征，通過鏡頭邊界檢測，應用頻譜聚類将 WCE 視訊分割成有意義的部分。以下參考資料在此未詳述； [300]–[315]
  • 17） 特定組織的分割（IAS）：
    • [316] 提出了一種三步法來分割 WCE 圖像幀。 a) 局部多項式逼近算法，找到每個像素的局部适應鄰域； b) 顔色紋理分析，它通過反映該像素局部鄰域特征的數值屬性向量來描述每個像素； c) 執行 k 表示基于顔色特征向量進行聚類。 對于色素内窺鏡和 NBI 成像，[317] 描述了在标準化切割圖像分割架構中單獨群組合使用各種視覺特征（邊緣圖、折痕和顔色）。 [318] 描述了一種在結腸鏡圖像中分割氣泡的方法。
  • 18） 臨床決策支援 (CDS)：
    • 此類别中描述的方法讨論了為臨床醫生建構通用工具以提供決策支援的方法。 此處描述的參考文獻并不針對特定的疾病類别，而是針對檢測病變并對其進行分類以确定疾病類型的系統。 該類别也可以歸類為基于内容的圖像檢索平台，它本質上使用計算機視覺概念從資料庫中檢索相似圖像以輔助臨床診斷。
    • 在[319]提出的方法中，圖像被轉換到CIE-LAB空間。非下采樣Contourlet變換用于分解色度和強度分量，表示顔色和紋理特征。使用 ML 估計器使用廣義高斯密度對分解的子帶進行模組化。然後使用 PCA 壓縮得到的特征向量。使用 Least Square-SVM 進行預分類，然後計算查詢圖像和資料庫特征之間的 kullback-leibler 散度。 [320]，建議使用 GLCM、顔色直方圖、GIST 和 Gabor、小波、最大響應 (MR8)、Leung Malik (LM) 濾波器組和 Schmid 濾波器組響應作為特征描述符，使用樸素貝葉斯最近鄰進行圖像檢索分類器。 [321] 回顧了各種顔色和紋理描述符，以檢索内窺鏡場景中的幀類型。通過使用 ans SVM 和 ANN 分類器進行訓練，使用這些特征描述符進行比較。 [322]，建議計算一個 10-bin 歸一化的色調和飽和度直方圖，并訓練一個 SVM 分類器來檢索 ROI 中的組織類别。 [323] 建議在語義空間中表示高清内窺鏡圖像中的局部特征，以生成 CBIR 系統，供臨床醫生檢視線上標明區域。在 [324] 中，作者使用從 DT-CWT 中提取的紋理特征，提出了一種基于生成模型的政策，該政策與 CBIR 密切相關，用于線上組織分類。 [325] 提出了一種設計内窺鏡圖像語義、低維編碼的新方法。 [326] 讨論了 GI 内窺鏡圖像注釋和檢索平台的開發。 [111] 中介紹了 CBIR 系統，用于基于顔色紋理分析識别食道癌前病變。 [327]，探索局部特征（通過使用高斯差分和網格采樣等采樣方案提取），BoW，并在用于特征描述的各種技術方面提供了廣泛的實驗。對于 CBIR 系統，研究了 SVM 分類器，并研究了它在不同核類型、局部特征的采樣政策、要考慮的類的數量等下的性能。 [328] 回顧了 WCE 圖像的各種特征描述符和分類方法。在 [43] 中，作者建議結合來自多個圖像的資訊，使用隐馬爾可夫模型 (HMM) 架構設計一種監督分類方法。該架構以弱（k NN）分類器為原型，以評估其對包含息肉的胃腸道區域的性能。 [329] 建議使用色調飽和度直方圖和紋理形式的顔色特征作為局部區域的 SVD 來開發 CBIR 系統，用于檢測 WCE 中胃和腸之間的幽門瓣。
    • 在論文 [330] 中，從使用 Hilbert Huang 變換分解圖像，使用 PCA 壓縮所選模式以生成代表性特征向量。在 [331] 中，LBP 及其變體首先用于去除無資訊架構，然後用于檢測由乳糜瀉、克羅恩病、腸息肉和惡性良性腫瘤引起的病變。 [332] 提出了一種軟體系統，該系統使用各種顔色和紋理特征，組合成一個單一的特征向量。然後提出了一個特征選擇模型，它使用深度稀疏支援向量機（DSSVM），它像其他傳統特征選擇模型一樣為特征次元配置設定合适的權重，并直接從特征池中排除無用的特征。 [333]，提出了一種用于線上内窺鏡圖像分析的智能系統。該方法讨論了從每個顔色分量的直方圖中提取有色域和無色域中的紋理特征以訓練 ANN。 [334] 建議使用 Hue-Saturation 直方圖與 LBP 相結合，在多光譜成像中對癌前病變和癌變病變進行分類。對邏輯模型樹、樸素貝葉斯、NN 和 SVM 分類器進行了比較。在 [335]、[336] 中，作者研究了一種自适應紋理分類政策，以實作對訓練圖像中不同程度退化的魯棒性。這些論文還讨論了在這種情況下的各種相似性度量。 [337] 比較了各種基于紋理的特征描述符； LBP 和變體、多重分形譜、邊緣共生矩陣和局部相位量化來訓練 SVM 分類器。在乳糜瀉分類的背景下，還研究了通過模糊均衡實作模糊不變性的方法。
    • 在 [338] 中，從圖像的 DT-CWT 的不同變體中提取尺度不變特征，以便根據凹坑模式方案對高倍率結腸内窺鏡圖像進行分類。為了增強尺度不變性，将 DCT 應用于特征向量。最終描述符包含來自 DTC-WT 變體的子帶的均值和标準偏差或這些子帶的 Weibull 參數。讀者可以參考 H¨afner 等人的進一步出版物，以研究空間頻域描述符的各種用途 [339]-[341]。 [342] 在單個顔色通道上提出了 LBP 描述符的修改版本，以使用 Bhattacharyya 距離訓練 NN 分類器。 [343] 對結腸息肉分類的四種交叉驗證方法進行了比較，即留一圖像、留一父母圖像、留一病變和留一患者。 [344] 讨論了 GI 内窺鏡中決策支援的應用領域，并回顧了視訊内窺鏡中檢測腺瘤的各種功能。 [345]，提出了一個 CDS，它使用來自内窺鏡圖像的幾何和顔色特征。論文 [346] 對結腸鏡檢查視訊中各種通用場景類别的檢測進行了分析。 [347] 讨論了邊緣特征的使用和使用貪婪前饋選擇提取最具辨識力的子集。描述符與 NN 分類器一起使用，以檢測 GI 内窺鏡檢查中的各種場景。
    • 請讀者按照參考文獻進行研究以進一步激發； [205]、[326]、[348]-[368]
  • 這就完成了對 GI 内窺鏡中場景了解和分類的回顧。 雖然本論文的目标應用是食道，但對完整的 GI 解剖進行了回顧，因為文獻中沒有遇到過這樣全面的回顧，是以有必要對應用領域有一個清晰的了解。 首先，對各種最先進的算法進行了描述，以突出關鍵方法。 然後，進行基于内窺鏡應用的分類。 确定了 18 個類别，從疾病特異性病例，如 CED 和 CRD，到廣義 CDS 系統。 重建、導航和定位的應用領域是智能支援系統的重要組成部分，是以也進行了綜述。 這種分類的次要目的是闡明在生物醫學界觀察到的關于将技術轉移到 GI 臨床領域的戰略思想。