（三十五：2021.01.12）MICCAI 2019学习（一）《前列腺近距离放射治疗中粒子定位的深度回归模型》

《A Deep Regression Model for Seed Localizationin Prostate Brachytherapy》

• 讲在前面
• 摘要
• 论文内容
• • 1.介绍
  • 2.方法论
  • • 2.1 深度回归模型
    • 2.2 实现
  • 3. 实验
  • 4. 总结

讲在前面

• 一.当前粒子植入手术面对着术中及术后植入粒子剂量核验的问题，本人现在已经完成一部分这样的工作，能够比较有效的将粒子在空间中进行聚类，结果较为理想但在面对多个粒子伪影重叠的情况下，仍然有较大的误差存在。刚好找到这篇极具研究价值的论文，希望能理解其精髓思想，尽快复现其内部知识；
• 二.我设计了几种字体颜色用于更加醒目地表现关键的思想和主题：
  • 红色表示尚未理解透彻的一些概念
  • 蓝色表示对原来的理解做的一些修改或补充
  • 绿色表示此处需要参考的论文其他部分
  • 橙色表示本文的重要关键字
  • 我会用删除线将自己曾经不到位的理解进行删除

摘要

植入后剂量测定（PID）是前列腺粒子放射治疗的重要步骤，利用CT对前列腺进行成像，并使放射性粒子的位置和剂量分布与实际前列腺直接相关。 但是，由于严重的金属伪影和当多个粒子聚集在一起时出现的高度重叠的外观，因此在CT图像中识别这些种子是一项非常艰巨的任务。 在本文中，我们提出了一种基于3D深层卷积网络的自动高效算法，用于识别CT图像中的植入粒子。我们的方法将粒子定位任务建模为监督回归问题，该问题将输入的CT图像投影到概率图上，其中每个元素代表输入体素属于属于对应粒子的概率。 这种深度回归模型显着抑制了图像伪影，使后处理变得更加容易和可控。该方法在大型临床数据库中得到了验证，该数据库包含100名患者的7820个粒子，其中使用了70名患者的5534个粒子进行了模型训练和 验证。 我们的方法正确地检测了30位测试患者中的2150颗种子，共2286颗（94.1％），与广泛使用的商用种子搜索软件（VariSeed，Varian，Palo Alto，CA）相比，提高了16％。

论文内容

1.介绍

2019年，据估计有174,650例新病例和31,620例死亡，前列腺癌仍然是美国男性中最常见的诊断出的癌症类型。粒子植入物近距离放射治疗涉及将放射性源（粒子）永久植入前列腺内，是中低危前列腺癌的标准选择。尽管在计划和粒子输送方面进行了各种改进，但是由于各种因素（例如针头位置变化，前列腺变形，粒子输送变化和粒子迁移），实际的辐射剂量分布可能会偏离计划。 因此，建议采用植入后剂量测定法（PID）以确保植入质量并建立放射剂量与临床结果之间的关系。PID通常在植入后第30天执行，该操作利用CT对植入区域成像，从中勾勒出前列腺和周围高危器官（OAR）的轮廓，并确定粒子位置。

植入粒子的准确定位对于量化向这些器官的剂量分布至关重要。 但是，鉴于植入了大量粒子，手动识别这些粒子非常耗时，通常每位患者需要10至20分钟才能识别60至100颗种子。 因此，对种子定位的精确和自动匹配的方法有很大的需求。 如图1所示，尽管射线在CT图像上显示出很高的对比度，但由于以下两个独特的特征，自动粒子定位在实际工作中是一项艰巨的任务。大大增加了粒子鉴定的复杂性。 其次，由于粒子传输位置的变化和粒子的迁移，一些植入的粒子彼此非常靠近以形成种子簇。 这种高度重叠的外观使得很难在CT图像上识别单个种子。

已经开发了几种自动方法来在CT图像中定位种子，例如基于几何的识别方法【Liu, H., et al.: Automatic localization of implanted seeds from post-implant CTimages. Phys Med Biol 48(9), 1191 - 1203 (2003)】和霍夫变换【Holupka, E. J., et al.: An automatic seed finer for brachytherapy CT postplansbased on the Hough transform. Med Phys. 31(9), 2672-2679 (2004)】。最近，Nguyen等人提出了一种级联方法【Nguyen, H. G., et al.: Automatic 3D seed location and orientation detection in CTimage for prostate brachytherapy. In: IEEE ISBI 2014, pp. 1320-1323. (2014)】，该方法涉及阈值和关联成分分析作为种子候选物的初始检测，然后是一种改进的k均值方法，用于基于先验强度和体积信息来分离种子组。 张等人【Zhang, G., et al.: Automatic seed picking for brachytherapy postimplant validationwith 3D CT images. Int J CARS. 12, 1985 - 1993 (2017)】采用灰度检测和改进的凹点匹配，以在基于灰度直方图的阈值化之后分离触摸种子。 所有这些方法都使用需要特殊领域知识的手工制作的功能。 同时，通常引入复杂的预处理和后处理步骤以促进种子定位过程。 结果，这些方法的评估主要是在体模或少量临床病例的情况下进行的。

图一：

最近，深卷积神经网络（CNN）在医学图像分析中变得很流行，并且在各种医学图像计算任务（例如肺结节检测，组织学图像中的腺体实例分割，肝和肿瘤分割，皮肤病变分割和分类）。 由于直接从原始图像数据中学习分层特征的能力，CNN通常会产生更好的泛化性能，尤其是在对大型数据集进行评估时。

受到深度学习研究的最新进展的启发，我们提出了基于深度CNN的新型框架，以在3D CT图像中自动定位植入的粒子。 我们在本文中的贡献是三方面的。

• 首先，我们将种子定位建模为回归问题，并利用深层CNN的判别力引入全自动解决方案。 据我们所知，这是使用深度神经网络解决这一艰巨任务的首次尝试。
• 其次，我们没有直接预测3D空间中的种子坐标，而是设计了种子位置的概率图来解决人工识别的不确定性，从而提高了模型预测的鲁棒性。
• 最后，我们在大型临床数据库中对100名患者的7820颗粒子进行了评估，并与商业粒子搜索软件（VariSeed，Varian，Palo Alto，CA）进行了比较。

2.方法论

2.1 深度回归模型

如图一所示，红色的点作为粒子的标签，每一个点对应一个原始粒子。但是，考虑到粒子有一定的形状（直径0.8mm，长度4.5mm），只要是在粒子上的点，都应该是正确的注释。结果就是，就种子而言的标签位置而言，可能和真实情况有很大的变化，如果直接将确切的注释位置用作学习目标，则这将带来不必要的挑战并易于过度拟合。与之不同的是，我们将离散的点标签转换成连续的概率图（ x ∈ R 3 x\in{R^3} x∈R3），从而将粒子的定位问题强制转换成监督回归问题，通过这样的方式，来学习3D CT图像 I ( x ) I(x) I(x) 和 概率图 P ( x ) P(x) P(x) 之间的一种映射关系。 P ^ \hat{P} P^是推理出的概率图， w w w是学习到的权重：

P ^ ( x , w ) = F ( I ( x ) , w ) \hat{P}(x,w) = F(I(x),w) P^(x,w)=F(I(x),w)

对于每一个3D图像 I i ( x ) I_i(x) Ii​(x)都有它对应的三维点集 C I = C 1 , . . . , C N ( i ) C_I = {C_1,...,C_{N(i)}} CI​=C1​,...,CN(i)​作为其注释， N ( i ) N(i) N(i)是标注的总共的点数目，我们将GT概率图定义为给予所提供点的一种核强度估计：

∀ x ∈ I i , P i ( x ) = ∑ C ∈ C i N ( x ; C , Σ ) , Σ = [ σ x 2 0 0 0 σ y 2 0 0 0 σ z 2 ] (1) \forall{x} \in{I_i, P_i(x)}=\sum_{C\in{C_i}}N(x;C,\Sigma), \Sigma= \left[ \begin{matrix} {\sigma_x^2} & 0 & 0 \\ 0 & {\sigma_y^2}& 0 \\ 0 & 0 & {\sigma_z^2} \end{matrix} \right] \tag{1} ∀x∈Ii​,Pi​(x)=C∈Ci​∑​N(x;C,Σ),Σ=⎣⎡​σx2​00​0σy2​0​00σz2​​⎦⎤​(1)

对这些参数做些解释：

• x x x: 代表 I i I_i Ii​的某个体素的坐标；
• N ( x ； C , Σ ) N(x；C,\Sigma) N(x；C,Σ)：在 x x x 这个体素位置的归一化高斯核；
• C C C：均值，也就是标签；
• Σ \Sigma Σ：方差，对角矩阵；

• σ x , σ y , σ z \sigma_x,\sigma_y,\sigma_z σx​,σy​,σz​：考虑到粒子的大小形状和CT图像本身的影响，在研究中设置： σ x = σ y = 1 m m , σ z = 2 m m \sigma_x=\sigma_y=1mm, \sigma_z=2mm σx​=σy​=1mm,σz​=2mm。

  **图二（a）**显示了从图一认为标签点中创建概率图，**图二（b）**是对应的深度回归模型推理出来的概率图。

  图二：

  

  我们训练一个深度回归且对称的编解码网络（DRN）来将输入的CT图像映射为概率图，就像图三显示的这样：

  图三：

  

  我们在编码器阶段使用卷积层和最大池化层来聚合图像信息，在解码器阶段使用转置卷积来恢复原始的图像信息。每层卷积之后是BN层和ReLU层来促进反向传播。同时使用跳跃链接来聚合高低级像素的图像信息。通过明确地组合低级和高级功能，DRN从本地和全局上下文信息中受益，以重建粒子位置的更精确概率图。 考虑到目标概率图是非负的，我们在最后的卷积层中使用 softplus 作为激活函数以确保DRN的正输出，其函数和ReLU十分相近：

  s o f t p l u s ( x ) = 1 β ⋅ ( l o g ( 1 + e x p β ⋅ x ) ) softplus(x)=\frac{1}{\beta}\cdot(log(1+exp^{\beta\cdot{x}})) softplus(x)=β1​⋅(log(1+expβ⋅x))

  在我们的研究中，将 β \beta β设置为1，卷积核大小为3，步长为1，但是转置卷积因为要进行上采样，所以卷积核大小核步长都设置为2。为了保证卷积过程中相同的维度，使用0填充，所有的操作都是在3D的空间上操作的。

  训练DRN的目的是为了使得预测值和真是标签之间的损失越来越小，由于大部分的体素都属于背景，DRN倾向于更多地关注学习背景，而不是高斯型粒子标签。为了解释这种前后景的不平衡，我们使用加权的MSE作为损失函数，权重为目标概率图 P ( x ) P(x) P(x)：

  L ( w ) = 1 N ⋅ ∑ n = 1 N [ P ( x n ) ( P ( x n ) − P ^ ( x n , w ) ) ] (3) L(w)=\frac{1}{N}\cdot{\sum^{N}_{n=1}[P(x_n)(P(x_n)-\hat{P}(x_n,w))]}\tag{3} L(w)=N1​⋅n=1∑N​[P(xn​)(P(xn​)−P^(xn​,w))](3)

  N N N 是一个mini batch中训练的体素总数。

2.2 实现

我们的DRN是使用Pytorch（v.0.4）实现的。 使用Adam随机优化方法（batchsize为4），训练DRN从头开始进行了500次迭代。初始学习率设置为0.003，并且当验证损失停止减少时使用学习率衰减和早期停止策略。 为了减少过度拟合，我们随机地向左/向右，上/下和前/后方向翻转以进行数据增强。 我们使用七折交叉验证来评估模型在训练数据集上的性能，其中还通过网格搜索实验确定了一些超参数。 所有实验均在装有四个Nvidia GTX 1080 TIGPU的工作站上进行。

对于预处理，我们仅将所有CT扫描的体素值截断到[-80,175] HU范围内，以消除无关的图像信息。将CT图像各向同性重采样为0.5 mm，ROI的体积为 从整个CT图像中提取以前列腺为中心的128×128×96（VOI）作为DRN的输入。 在推理过程中，按照与训练数据准备相同的步骤对新的CT图像进行预处理，然后将训练后的DRN应用于VOI以生成3D概率图。 我们使用3D分水岭分割算法将概率图转换为最终粒子位置。

3. 实验

我们在机构中收集了2008年至2019年接受种子植入近距离放射治疗的100名前列腺癌患者的数据库。 植入的粒子（钯103）的数量从48到156不等。随机选择了70例具有5534粒子的患者进行模型训练和验证，而剩下的30例具有2286种子的患者被保留用于独立测试。 植入后30天对每位患者进行ACT扫描，面内分辨率为0.6×0.6至1.4×1.4 mm，切片厚度为2.5至3.0 mm。

通过半自动程序获得GT，其中VariSeed 种子查找器算法首先用于搜索CT图像中前列腺区域附近的植入种子。 由于此自动程序通常会导致一些错误的粒子放置，因此需要用户干预才能根据CT图像中的粒子位置校正这些错误。 放射肿瘤学家最终批准了种子的定位以及重建的辐射剂量分布。

图4分别以轴向，矢状冠状面图显示了CT图像中PID研究的两个示例，其中在患者（a）中植入了77颗种子，在（b）中植入了143颗种子。 还显示了概率图的相应DRN预测。 清楚地表明，金属伪影和粒子重叠外观被显着抑制，这使得粒子定位更加容易。 右边的图显示了GT的3D分布以及DRN识别的粒子。 总体而言，DRN花了大约60秒钟恢复30位测试患者的植入种子数量。 中值对距离为0.70毫米[25％-75％：0.36-1.28毫米]。

图四：

表1详细列出了DRN和VariSeed查找器粒子检测之间的比较，其中第一行和第四行列出了植入种子的数量。 对于大量植入的种子（从48颗到143颗），DRN几乎在每位患者上都大大超过了VariSeed。总体而言，DRN在30位测试患者的2286颗种子中正确地识别出2150颗种子（94.1％），达到了16％ 与VariSeed相比有所改善（81.0％）。

表一：

4. 总结

在本文中，我们在基于CT的植入后剂量学研究中对接受前列腺近距离放射治疗的患者进行深度学习在识别放射性粒子任务中的应用开创了先河。 尽管在CT图像中进行粒子定位存在挑战，但与大型临床数据库上广泛使用的商业软件相比，提出的深度回归模型实现了更高的检测准确性。 而且，我们的模型被发现非常有效，一个新的测试用例平均要花2秒的时间。 我们的方法无需在每个种子上手动绘制3D边界框或蒙版，而仅需要将点注释作为地面实况进行模型训练，从而大大简化了数据标记过程。 这种弱监督的学习框架可以轻松地推广到其他对象检测任务，例如2D / 3D实时成像中的监护标记跟踪以及高剂量率（HDR）近距离放射治疗中的源/导管定位。