這裡寫目錄标題
- 賽題分析
- 資料分析
- 思路介紹
-
- 整體思路
- 資料處理
- 模型訓練
- 模型預測
- 連通性後處理
- 結果對比
- 總結
賽題分析
地塊分割本質上是個語義分割的問題，初賽考慮7類結果的平均IOU，複賽加入了對水體和道路類的連通性評判名額。IoU是一種測量在特定資料集中檢測相應物體準确度的一個标準。隻要是在輸出中得出一個預測範圍(bounding boxex)的任務都可以用IoU來進行測量
資料分析
類别總共有**（0）建築、（1）耕地、（2）林地、（3）水體、（4）道路、（5）草地、（6）其他**
資料集中存在類别不均衡現象，（0）建築、（4）道路和（5）草地類較少，（1）耕地、（2）林地和（3）水體類較多。
根據統計，隻有分别約7%、/10%、/13%的圖檔滿足建築/道路/草地面積占比大于1%，有約71%、36%、31%的圖檔滿足耕地/林地/水體大于1%
資料存在極度類别不均衡現象，正常的方法不适于訓練。
盡管建築類資料較少，但由于其地貌容易辨識，分類結果較準确；而道路和草地類則因為與其他類存在相似性，但訓練資料不足，結果較差。提升模型分類能力（MIOU）的關鍵是解決類别不均衡問題，尤其是道路類和草地類。
思路介紹
整體思路
（1）直接的方式是使用針對IOU設計的損失函數進行re-weighting（如Lovasz-Softmax Loss、 Focal Loss等），但訓練較慢，結果收斂不穩定。
（2）其次是可以針對特殊類設計子產品，但結構複雜且周期長。
（3）最終我們借鑒了Adaboost的思想，用不同機率分布的訓練資料訓練一系列弱分類器，并通過投票融合得到強分類器。
這裡之是以用類似，是因為與Adaboost不同，我們這裡的資料并不是每輪增加錯誤樣本權重，弱分類器的“弱”也是指特殊類别上弱，融合權重根據準确率與連通性需求人為規定。
資料處理
(1) 劃分道路草地類正負樣本（負樣本指不包含該類的樣本），多階段逐漸增加負樣本比例（借鑒Bengio的curriculum learning的思想由簡單到複雜訓練，結果更好收斂）；
(2) 在原資料的基礎上，對道路草地類樣本re-sampling，為了避免過拟合，對重采樣資料進行多種資料增強（水準翻轉+垂直翻轉+放縮為0.75/0.875/1.125/1.25倍），與re-weighting相比，簡單直接效果好；
(3) 針對建築/道路/水體類轉換處理得到二分類訓練資料（同樣進行資料增強并加入随機旋轉90/180/270度），訓練特殊的二分類器，加強模型對特殊類别的前景後景區分能力。在資料增強時，我們還進行了門檻值篩選，僅對面積占比較大的圖像進行相應處理，直覺上這些資料對訓練更友好。
多分類模型隻能識别筆直的道路，部分彎曲的道路難以識别。而二分類模型可以很好地識别彎曲的道路，并且連通性也更好。
模型訓練
有了這些資料，我們訓練了一系列以HRNet和OCRNet為backbone的模型。并且我們探索了SE、CBAM、scSE等attention module，最後是采用了提升效果最多的SE attention。
模型預測
在測試時，我們進行了多種資料增強，包括尺度放縮、水準/垂直翻轉、90度倍數旋轉（實際上，原圖+水準翻轉+垂直翻轉+180度旋轉足矣，更多的TTA提升效果很小）。得到這些預測後，我們不是進行softmax分數求和的軟投票，而是逐像素少數服從多數的硬投票，并且用二分類預測逐優先級覆寫多分類預測，人為地規定了道路>水體>建築>其他的優先級。這裡我們利用多程序+numpy矩陣運算，大大減小了投票花費的時間。
連通性後處理
最後我們使用形态學處理進一步提高了連通性。
首先是用閉運算去連接配接斷裂處以及中值濾波去除毛刺；
其次用面積和長度篩選門檻值孤立像素團，用左邊像素類别進行替換去除；
第三是設計了骨架連通性增強方案，提取出某類的骨架，并适當地膨脹腐蝕，保證連通的同時不會過度超出原始預測區域；
最後是設計了一個動态優先級算法，動态地進行不同類别的覆寫（主要考慮水體與道路類覆寫優先級）
膨脹：擴大圖像中的物體，求局部最大值的操作，将圖像與核進行卷積，計算核B覆寫區域的像素點的最大值，并把這個最大值指派給參考點指定的元素。這樣就會使圖像中的高亮區域逐漸增長。
腐蝕：縮小圖像中的物體，求局部最小值的操作，腐蝕操作會使圖像中的高亮區逐漸減小。
開運算：先腐蝕運算，再膨脹運算
開運算總結：
（１）開運算能夠除去孤立的小點，毛刺和小橋，而總的位置和形狀不便。
（２）開運算是一個基于幾何運算的濾波器。
（３）結構元素大小的不同将導緻濾波效果的不同。
（４）不同的結構元素的選擇導緻了不同的分割，即提取出不同的特征。
閉運算：先膨脹運算，再腐蝕運算
閉運算總結：
（1）閉運算能夠填平小湖（即小孔），彌合小裂縫，而總的位置和形狀不變。
（2）閉運算是通過填充圖像的凹角來濾波圖像的。
（3）結構元素大小的不同将導緻濾波效果的不同。
（4）不同結構元素的選擇導緻了不同的分割。
結果對比
最終的結果輸出如上圖右所示，可以看到最終的預測圖更加平滑，類别噪點大大減少，并且保證了道路和水體較好的連通性。這裡融合的結果更多考慮了連通性，因而可能存在“誤判”的結果，實際環境下可考慮準确性和連通性的權衡，調整門檻值和權值。
總結
方案最大的特點是将連通性問題轉換為二分類問題解決，結果出奇地好，傳統圖像形态學後處理仍然可靠。無須針對性設計loss和module，分類器可用多種小模型，實際環境下并行處理也更快。來了新的類别，大可以訓練二分類器簡單投票，數十個疊代即可得到較強的分類器。
參考資料
2020 CCF BDCI 遙感影像地塊分割冠軍競賽方案 & 語義分割trick整理–機器學習研究組訂閱