中文标题： HR-Depth:高分辨率自监督单目深度估计
（本文只记录与Monodepth2不同的部分）
解决的问题
- 虽然人们尝试使用高分辨率图像进行深度估计，但预测的精度并没有显著提高。在本研究中，我们发现其核心原因是在大梯度区域的深度估计不准确，使得双线性插值损失随着分辨率的增加而逐渐消失。
创新点
- 文章提供了一个高分辨率单眼深度估计的深度分析，并证明了预测更准确的边界可以提高性能。
- 文章重新设计了跳接，以获得高分辨率的语义特征图，这可以帮助网络预测更清晰的边缘。
- 为了提高特征融合的效率和效果，我们提出了特征融合压缩和激励模块。
高分辨率性能分析
- 在Monodepth2上增大图像分辨率，性能指标并未提升。Mono2结构并不能利用输入图像的高分辨率的信息。
论文笔记：HR-Depth:High Resolution Self-Supervised Monocular Depth Estimation中文标题： HR-Depth:高分辨率自监督单目深度估计 - 在梯度较大的区域中，局部预测误差会在上采样过程中严重影响全局精度
- 在低分辨率区域，上采样对精度影响较小。
重新设计的跳接结构
思路
通过充分利用空间以及语义信息来预测更好的边界
解决方案
HR 解码器 论文笔记：HR-Depth:High Resolution Self-Supervised Monocular Depth Estimation中文标题： HR-Depth:高分辨率自监督单目深度估计
- X i e X^e_i Xie表示特征提取节点； X i , j X_{i,j} Xi,j是特征融合模块，其中只含3x3卷积； X i d X^d_i Xid表示特征融合模块，包含fSE模块。深度预测由DispConv连接。
论文笔记：HR-Depth:High Resolution Self-Supervised Monocular Depth Estimation中文标题： HR-Depth:高分辨率自监督单目深度估计
特征融合SE模块
问题
- 密集的跳接使解码器节点显著增加了输入特征图数量，降低网络的效率。
解决方案
- 提出 feature fusion Squeeze-Excitation(fSE) 模块
- 通过全局平均池化表示通道信息，并通过两个全连接层紧接Sigmoid激活函数，获取特征重要性，并重加权特征（类似通道注意力机制），最后通过1x1的特征获得高质量特征。
轻量化 HR-Depth
- 蒸馏出一个小网络，只有Mono2 20%的参数量，却比Mono2更加精确。
消融实验
- 分析：类似于HRNet的dense SC模块可以提高性能，fSE模块在性能和效率间进行取舍。
全文总结
- 在MonoDepth2的基础上对DepthDecoder进行改进，使用HR结构增强了特征在空间和语义上的复用。已经存在将DepthEncoder换为标准预训练HRNet的论文[1]。
代码阅读
- 在阅读代码时我发现，如果我的理解没有问题的话，图中画叉的节点时不存在的，并且按照规律特征的的流向为红色虚线。（如果我的理解有问题，请大家指正。）
参考文献
[1] Zhou H, Greenwood D, Taylor S. Self-supervised monocular depth estimation with internal feature fusion[J]. arXiv preprint arXiv:2110.09482, 2021.
[2] Lyu X, Liu L, Wang M, et al. Hr-depth: High resolution self-supervised monocular depth estimation[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2021, 35(3): 2294-2301.