視訊編解碼&編碼格式&圖像基礎關于一些視訊編解碼&編碼格式&圖像基礎的介紹

關于一些視訊編解碼&編碼格式&圖像基礎的介紹

• 視訊編解碼原理，大概包括熵編解，幀内編碼及幀間編碼，運動補償，量化與反量化，變換和反變換和環路濾波等等技術。

• I幀P幀B幀。

  I幀：表示關鍵幀，你可以了解為這一幀畫面的完整保留；解碼時隻需要本幀資料就可以完成。

  P幀：表示的是這一幀跟之前的一個關鍵幀（或P幀）的差别，解碼時需要用之前緩存的畫面疊加上本幀定義的差别，生成最終畫面。

  B幀：雙向差别幀，也就是B幀記錄的是本幀與前後幀的差别，壓縮率高。

• 了解GOP與DIR意思。

  DIR:一個序列的第一個圖像叫做 IDR 圖像（立即重新整理圖像），IDR 圖像都是 I 幀圖像。

  GOP:即圖像組，指兩個I幀之間的距離。

• 了解DTS與PTS意思。

  DTS:(解碼時間戳)，表示packet的解碼時間。

  PTS:(顯示時間戳)，表示packet解碼後資料的顯示時間。

• 檢視各種編解順序的意思。

  采集順序指圖像傳感器采集原始信号得到圖像幀的順序。

  編碼順序指編碼器編碼後圖像幀的順序。存儲到磁盤的本地視訊檔案中圖像幀的順序與編碼順序相同。

  傳輸順序指編碼後的流在網絡中傳輸過程中圖像幀的順序。

  解碼順序指解碼器解碼圖像幀的順序。

  顯示順序指圖像幀在顯示器上顯示的順序。

  采集順序與顯示順序相同。編碼順序、傳輸順序和解碼順序相同。

• 了解H264編碼。

  其編解碼流程主要包括5個部分：幀間和幀内預測，變換和反變換，量化和反量化，環路濾波，熵編碼。

  H264标準的主要目标是：與其它現有的視訊編碼标準相比，在相同的帶寬下提供更加優秀的圖象品質。

• 了解H265編碼幀内編碼過程：

1.圖像首先被分割為塊狀區域；

2.資料進行幀内估算（編碼器），進行幀内編碼；

3.進行幀内預測（反編碼），注意，此時幀内預測得到資料與分塊原圖像幀應有些許偏差；

4.分塊原圖像幀減去幀内預測結果，得到幀内殘差信号；

5.殘差信号經過線性變換，變換後的系數再經過縮放、量化；

6.将處理後的殘差信号系數經過反處理，得到殘差信号，注意與原殘差存在偏差；

7.将殘差信号加上幀内預測信号，可得到分塊預測圖像幀；

8.最終通過環路濾波和自适應補償，去除“分塊效應”，得到未經分塊的圖像幀；

9.幀内編碼信号和殘差信号系數一起進行熵編碼後輸出。

• 了解H265編碼幀間編碼過程：

1.分塊圖像幀資料輸入運動估算子產品（編碼器），再結合上一步幀内預測獲得的上/下一幅圖像幀資料，進行幀間編碼；

2.對幀間編碼資料進行運動補償（幀間預測，解碼器），注意，解碼得到的圖像幀與原圖像塊資料存在殘差；

3.分塊原圖像幀減去幀間預測結果，得到幀内殘差信号；

4.殘差信号經過線性變換，變換後的系數再經過縮放、量化；

5.将處理後的殘差信号系數經過反處理，得到殘差信号，注意與原殘差存在偏差；

6.将殘差信号加上幀間預測信号，可得到分塊預測圖像幀；

7.最終通過環路濾波和自适應補償，去除“分塊效應”，得到未經分塊的圖像幀；

8.幀間編碼信号和殘差信号系數一起進行熵編碼後輸出。

• 了解JPEG格式。

  JPEG即聯合圖像專家組，是用于連續色調靜态圖像壓縮的一種标準，檔案字尾名為，jpg或，jpeg，是最常用的圖像檔案格式。

• 了解YUV。

  YUV是一種顔色空間，基于YUV的顔色編碼是流媒體的常用編碼方式。

• 了解YUV資料的幾種采樣格式。

  （1） YUV 4:4:4

  YUV三個信道的抽樣率相同，是以在生成的圖像裡，每個象素的三個分量資訊完整（每個分量通常8比特），經過8比特量化之後，未經壓縮的每個像素占用3個位元組。

  （2） YUV 4:2:2

  每個色差信道的抽樣率是亮度信道的一半，是以水準方向的色度抽樣率隻是4:4:4的一半。對非壓縮的8比特量化的圖像來說，每個由兩個水準方向相鄰的像素組成的宏像素需要占用4位元組記憶體（亮度2個位元組,兩個色度各1個位元組）。

  （3） YUV 4:1:1

  4:1:1的色度抽樣，是在水準方向上對色度進行4:1抽樣。對于低端使用者和消費類産品這仍然是可以接受的。對非壓縮的8比特量化的視訊來說，每個由4個水準方向相鄰的像素組成的宏像素需要占用6位元組記憶體（亮度4個位元組,兩個色度各1個位元組）。

  （4）YUV4:2:0

  4:2:0并不意味着隻有Y,Cb而沒有Cr分量。它指得是對每行掃描線來說，隻有一種色度分量以2:1的抽樣率存儲。相鄰的掃描行存儲不同的色度分量。

• 圖像基礎。

  1，像素是組成圖像的最小最基本元素，是分辨率的機關，方形，是一種資料結構，包含了RGB三個資料，分别對應紅色、綠色、藍色。

  2，子像素：像素上的每種顔色叫一個子像素

  3，像素插值：在感應器象素測量的基礎上，進行計算和插值，增加照片象素。

  4，分辨率：用640*480表示，它表示橫向640像素和縱向480像素，是以其總數為640 × 480 = 307,200像素。

  5，對比度：描述圖像中最亮的白和最暗的黑之間的差異。

  6，飽和度：飽和度是指色彩的鮮豔程度，也稱色彩的純度。飽和度取決于該色中含色成分和消色成分（灰色）的比例。

  7，色調：畫面中占主導地位的顔色。

  8，灰階：用不同亮度的黑色來顯示圖像。

  9，渲染：着色器将繪圖資料加上着色資料後就被送入渲染器，渲染器根據繪圖資料描述，将像素填充到描述的線框組裡并送入幀緩存，然後然後送入顯示器，顯示器擷取到幀緩存的資料後再根據資料的描述來繪圖到螢幕上。

  10，PPI；每英寸所擁有的圖像數目：橫向平方加縱向平方開根除以螢幕尺寸。