Abstract:
low-level details and high-level semantics 對語義分割任務是十分重要的。為了提升模型的推理速度，目前的方法會 sacrifice the low-level details,并導緻準确率的減少。為了achieve high accuracy and high efficiency ，我們提出将spatial details and categorical semantics 分開處理。
Detail Branch：wide channels and shallow layers 捕獲 low-level details and 生成high-resolution feature representation。
Semantic Branch：narrow channels and deep layers 獲得 high-level semantic context。需要獲得大的感受野捕獲語義上下文資訊，由于減少了通道數 and fast-downsampling 政策，該分支是輕量級的。
而且，還設計了Guided Aggregation Layer 來聚合特征。
結果： 2,048×1,024 input, we achieve 72.6% Mean IoU on the Cityscapes test set with a speed of 156 FPS on one NVIDIA GeForce GTX 1080 Ti card.
Introduction
一些方法的高準确率依賴于骨幹網絡，主要有 2 種結構：
1）Dilation Backbone：去除下采樣和上采樣與之相關的卷積核，來保持高分辨率的特征圖。
2）編解碼：自top-down和skip connections 來恢複解碼部分中的高分辨率特征圖。
然而，這些結構是為了語義分割任務設計的，沒有考慮 inference speed and computational cost.
Dilation Backbone中的空洞卷積 time-consuming and 移除了下采樣，會帶來繁重的 computation complexity and memory footprint. 編碼-解碼器結構中的大量連接配接對記憶體通路成本不太友好.
加速模型的 2 種方法：
1）input限制。
2）channel修減。
但犧牲了low-level details and spatial capacity.
方法：
3.1 Detail Branch（多的通道，淺的網絡 with 小感受野 for spatial details）
Detail Branch 是為了捕獲low-level spatial details。是以需要的 rich 的通道編碼空間資訊。因為該分支隻關注 low-level details，我們設計了 一個淺的結構帶有 small stride。因為該分支有大的空間size和wide channels ，不适合采用殘差連接配接，會增加cost 減少 speed。
3.2 Semantic Branch （少的通道，深的網絡 with 大感受野 for 語義類别）
該分支被設計為捕獲high-level semantics。該分支有low channel capacity。SB分支的通道數是DB分支通道數的λ比率（<1）。同時采用fast-downsampling 提高了特征表達，和快速擴大感受野。高等級的語義需要大的感受野。然後該分支采用GAP得到 global contextual response。
3.3 Aggregation Layer
兩分支的特征是互補的。由于SB分支的快速下采樣政策，使SB分支的輸出尺寸小于DB分支。我們需要上采樣到相同尺寸。有許多融合資訊的方式summation，concatenation and well-designed operations。考慮到精度和效率，我們做了許多實驗，最終采用 bidirectional aggregation method（雙向聚合的方法）。
BiSeNet V2網絡結構
SB分支中的Stem 、CE子產品
Stem：它使用兩種不同的向下采樣方式來縮小特征表示。然後将兩個分支的輸出特性連接配接起來作為輸出。該結構具有高效的計算代價和有效的特征表達能力。
CE：SB分支需要大的感受野來捕獲高等級的語義資訊。設計了CE子產品，使用GAP和殘差連接配接來增強全局上下文資訊。
GE子產品：（a）是mobilenet v2 （b,c）是GE子產品，（b）s=1; © s =2.
Booster Training Strategy