ISP—線上性模式下IPC相機的調試流程
目錄
ISP—線上性模式下IPC相機的調試流程
1、亮度次元：AE
2、色彩次元（AWB、CCM）
3、對比度次元（Gamma、LDCI、Dehaze）
4、清晰度和噪聲次元（Demosaic、sharpen、3DNR）
圖像品質關注次元調試的順序圖
1、亮度次元：AE
亮度次元的主要調試子產品為AE，主要包括AE目标值的調優，AE Route的調優，AE的權重表的調優、AE收斂速度和平滑性的優化等。
調整AE子產品前需要準備的環境：黑電平正确，Shading标定完成，AWB和CCM标定正确，不同照度預設一組Gamma參數等。
步驟一：AE調節的第一步是确定AE的權重表，AE的權重表決定AE曝光的感興趣區域，不同的應用需求，AE的權重表也會有差異，一般針對于IPC應用場景，場景關注的主體為畫面的中間部分，建議将畫面中間部分的AE權重表設定的高于周邊部分。
步驟二：在确定AE的權重表的基礎上，接下來需要确定AE的Route，AE的Route主要決定曝光量的配置設定方式即曝光時間和增益的配置設定，不同應用場景需要設定不同的AE Route。
步驟三：在确定AE權重表和AERoute的基礎上，接下來需要跟據不同的曝光值調節AE的目标值。AE目标值的調整主要涉及到AE Compensate、AEoffset調節以及AE高光優先和低光優先模式的選擇。
步驟四：最後需要調節AE的收斂速度和AE的平滑性，其中AE的收斂速度和AE的平滑點是一對平衡點，在防止AE出現震蕩的前提下，可以适當提高AE的收斂速度，包括AE可以跟據光線變化的過程快速收斂。
2、色彩次元（AWB、CCM）
調整顔色前需要準備的環境：黑色電平校準準确、Lens-Shading标定完成、AE子產品參數調整合理。
步驟一：需要在實驗室燈箱場景抓取八組不同色溫下24色卡的raw（D50，D70，A等）以及室外場景抓取D50色溫24色卡的raw标定擷取AWB靜态白平衡系數。标定擷取的AWB靜态白平衡系數需要觀察Planckian Curve，是否光源分布在曲線兩側，是否有光源點距距離普朗克曲線較遠，估計的色溫是否準确。如果某些光源誤差較大，可以調整其權重值，再次标定，可以利用3A分析工具AWB功能線上驗證标定的準确性，如果多個光源下灰色快都落在普朗克曲線附近，說明标定是可靠的。
步驟二：在實驗室燈箱裡抓取的D50、TL84、A光源三組24色卡的raw通過标定工具生成的CCM矩陣。在标定CCM的過程中需要注意使用者自定義的ISP Gamma值時，需要注意比對相對應的Lab值，防止由于ISP Gamma和Lab Reference不比對，導緻作為線性變換的AWB和CCM共同作用無法達到目标圖像的效果。
步驟三：在AWB靜态白平衡系數和CCM飽和度矩陣标定之後，需要将AWB靜态白平衡系數和CCM飽和度矩陣配置到Sensor驅動當中在實驗室燈箱場景中抓取八種不同光源24色卡，可以初步确定标定得到AWB靜态白平衡系數和飽和度矩陣滿足要求。
步驟四：AWB和CCM子產品的參數合理性，還需要依賴于實際場景的大量測試，和調試，如果場景中的灰色塊還原度不準确，需要調整AWB參數，場景中出現個别顔色過飽和，建議調試CCM參數；針對混合光源應用場景，需要調節AWB中室内檢測的參數；針對于實際場景中任務膚色還原不準确，需要調整CCM參數。
3、對比度次元（Gamma、LDCI、Dehaze）
對比度次元：在亮度次元和顔色次元調試合理的基礎上，接下來主要調節圖像的對比度次元，影響對比度的次元主要包括：LDCI（局部對比度增強）、Dehaze、gamma等，一般重點在不同照度下調節Gamma參數，Dehaze和LDCI為調節對比度的輔助子產品。
調整對比度前準備的環境：黑電平校正正确，Lens-shading标定完成，AE曝光調整合理，AWB和CCM參數标定合理。
步驟一：調整Gamma參數，Gamma參數時影響圖像對比度的基本子產品，以實物場景為例，通過調整Gamma參數達到畫面亮區部分的視力表和暗部區域部分都不發生損失，且畫面獲得比較好的對比度。
步驟二：在調整好Gamma參數的基礎上，如果對圖像的對比度有更加精細化的需求，建議以LDCI為主。Dehaze為輔；LDCI屬于局部對比度的增強，可以改善畫面局部亮區和暗區細節的表現，Dehaze隻能作為輔助作用，Dehaze調整過大，回帶來畫面暗區細節損失和畫面顔色偏色。
步驟三：在優化後的Gamma參數、LDCI參數和Dehaze參數的基礎上，需要在實驗室燈箱D65光源環境下測試灰階卡的灰階，觀察灰階數能否滿足要求，一般要求灰階數至少達到18以上，否則表明目前圖像的對比度過高，損失了暗區的細節。
步驟四：在實際靜物場景，需要跟據場景的不同照度下，調整Gamma、LDCI以及去霧子產品，以達到場景的各個照度下，圖像的對比度不會出現過高和過朦。目前正常照度環境下和低照度環境下，圖像的對比度調試風格也會有一定的差異，比如在低照度下，Gamma需要适當壓低暗區來減輕暗區噪聲的負擔。
4、清晰度和噪聲次元（Demosaic、sharpen、3DNR）
清晰度和噪聲次元：清晰度和噪聲這兩個次元為一對平衡點的次元，且由于照度的不同，圖像的噪聲也表現的不一樣，随着照度的變化，圖像的噪聲增大，此時為了抑制畫面的噪聲，對圖像的清晰度的要求會低于正常場景的清晰度，此時清晰度和噪聲子產品的相關參數需要跟據不同的ISO進行關聯。清晰度和噪聲次元的測試，建議先以清晰度優先，即需要在降噪前（BayerNR、3DNR）将該銳化的細節銳化出來。
調整圖像清晰度和噪聲前準備的環境：黑電平校正正确，NoizeProfile标定正确，Lens-shading标定完成，AE曝光調整合理、AWB和CCM參數調整合理、Gamma參數調整合理。
影響圖像清晰度和噪聲子產品主要包括NR，Demosaic，DPC的去動态壞點、3DNR、3DNR前的Sharpen以及3DNR後的Sharpen等。
圖像的基本紋理細節的第一道關口就是Demosaic。調試Demosaic參數的入口條件為：黑電平标定準确，NoiseProfile标定合理、AWB和CCM标定參數合理。
調試 Demosaic 參數需要結合實驗室靜物高頻細節需要插值出來如靜物場景的視力表、星條卡和實驗室燈箱環境下解析率卡的解析度名額滿足要求。首先需要在實驗室燈箱 環境 D50 光源下 ISO100 下對着解析度卡調試 Demosaic 參數，使得解析度卡的解析率 滿足客觀名額要求，然後将該組 Demosaic 參數導入到工具觀看實驗室靜物場景 ISO 100環境下的高頻細節如視力表和星條卡能否插值出來，以此進行來回疊代。在 ISO100 環境下 Demosaic 參數調整合理情況下，接下來需要在實驗室靜物場景下不同照度下調整 Demosaic 參數，以平衡高頻噪聲和插值出來的噪聲和合适。
去馬賽克後圖：
步驟二：在Demosaic的參數調試合理之後，接下來重點聯調NR、3DNR前Sharpen、3DNR、3DNR後的Sharpen以及DPC去動态壞點。
調試 NR 子產品的入口條件為：黑電平校正準确、NoiseProfile 标定合理、AWB 和 CCM标定參數合理。
步驟三：3DNR前Shapen的調試準則主要将圖像的紋理細節和邊緣銳度調到合适。3DNR 後 Sharpen 和 3DNR 前 Sharpen 參數一緻，差別在于 Sharpen 的位置不同， 3DNR 前 Sharpen 的位置在 3DNR 之前，3DNR 後 Sharpen 在 3DNR 之後。3DNR 後 Sharpen 主要适當提升經過 3DNR 後的大邊緣的銳度，盡量少銳化紋理細節，3DNR 後 Sharpen 銳化大邊的過強的話，會帶來邊緣鋸齒加強、運動區域邊緣過渡不平滑和噪聲 的加劇。是以，3DNR 前 Sharpen、3DNR 後 Sharpen 以及 3DNR 三者需要在實驗室靜 物場景根據不同的 ISO 進行反複聯合調試，最終達到噪聲和清晰度的平衡為合理。
步驟四：DPC 去動态壞點強度隻需要在照度稍低下以去除動态壞點為準，照度稍好的情況下， 建議 DPC 去動态壞點的強度調試為 0。
步驟五：3DNR 作為整個清晰度的調優的關鍵環節，主要包括時域濾波器的調優和空域濾波器的調優，優先調節時域的動靜判決的門檻值即将雨點噪聲抑制為合适和時域的絕對強度保證畫面靜止區域安靜，再調節動靜判決的空域濾波器來抑制畫面運動區域的跟随噪聲，最後調節純空域濾波器抑制畫面的整體顆粒感，3DNR 調試的标準是達到靜止畫 面噪聲安靜且清晰度滿足要求，運動區域的噪聲得到比較好的抑制且運動拖尾能夠達到合理控制。
步驟六：3DNR 前 Sharpen、3DNR 後 Sharpen、Demosaic、NR 等子產品需要根據不同照度進行疊代聯合調試，最終以圖像的整體清晰度和噪聲水準平衡為合适。