H.265/HEVC率失真优化（RDO）及其HM代码注解

一、率失真优化（RDO）的目的

选择一个最小失真的编码模式可以带来最好的视频质量， 然而这往往需要很高的编码比特率。如何在有限的编码比特数下，选择一个失真最小的模式是编码中的关键问题。对于给定编码单元，上述求极值问题可将其转化为：在给定码率的情况下，尽可能降低失真D。这也即是 RDO 的目的，率失真代价函数表述如下：

{Para}opt=arg min{Para}(D+λ•R)

其中，R 和D 分别表示编码所消耗的比特数码率以及失真程度，{Para}opt表示最佳的编码参数集，包括模式选择、运动估计以及QP等，λ 为拉格朗日乘子。

二、HEVC中率失真优化方法

HM 采用拉格朗日优化方法为每个编码树单元CTU确定除编码参数QP之外的所有编码参数，主要包括CU划分模式、CU中PU和TU的划分、PU预测等等。每个CTU采用分级方式确定不同层的编码参数，步骤如下：

1. 首先，遍历所有CU，按如下公式对CU（CU从64x64到8x8）进行划分模式进行编码；

min J J=D(Mode)+ λ(Mode)•R(Mode)

2. 然后，在CTU中遍历所有PU（PU是预测的基本单元）模式和TU（TU是变换的基本单元，TU遍历的最小尺寸为4x4）的

组合，选择率失真代价值最小的确定为最优模式；

3. 不论帧内还是帧间，都会存在PU的预测，对PU的预测模式也是遍历所有的预测模式，分别计算每个模式对应的率失真代价值，选取最小的率失真代价值对应的预测模式为最优模式；

三、HEVC参考模型HM中初始QP和拉格朗日乘子初始化

在RDO中拉格朗日乘子作为率失真代价函数计算的关键参数，每帧的初始拉格朗日乘子会根据Slice的类型和在GOP中的位置，根据下式中每帧的初始QP确定对应的拉格朗日乘子：

模式选择过程对应拉格朗日乘子：

λ(Mode)=αW**pow(2,(QP-12)/3.0)

运动估计过程对应拉格朗日乘子：

λ(Motion)=pow(λ(Mode),1/2.0)

W为加权因子，I帧为0.57。根据当前Slice是否最为参考图像，Nb为GOP中B帧的个数（发现LDP配置中P帧在HM中也算作B帧），如果为非参考图像α为1，如果为非参考帧时：

α= 1.0 - Clip3(0.0,0.5,0.05*Nb)

HM在编码GOP之前会对每个Slice的拉格朗日乘子作初始化，并在compressGOP函数中的initEncSlice实现初始化

m_pcSliceEncoder->initEncSlice ( pcPic, iPOCLast, pocCurr, iGOPid, pcSlice, isField );
           

如果开启多QP优化，会对每个遍历的QP初始lambda，我用的HM版本为HM 16.9，不过不同版本的对应函数应该没有太大变化

// pre-compute lambda and QP values for all possible QP candidates
  for ( Int iDQpIdx = ; iDQpIdx <  * m_pcCfg->getDeltaQpRD() + ; iDQpIdx++ )
  {
    // compute QP value
    dQP = dOrigQP + ((iDQpIdx+)>>)*(iDQpIdx% ? - : );

    // compute lambda value
    Int    NumberBFrames = ( m_pcCfg->getGOPSize() -  );       //计算GOP中B帧个数
    Int    SHIFT_QP = ;
#if FULL_NBIT
    Int    bitdepth_luma_qp_scale =  * (rpcSlice->getSPS()->getBitDepth(CHANNEL_TYPE_LUMA) - );
#else
    Int    bitdepth_luma_qp_scale = ;
#endif
    Double qp_temp = (Double) dQP + bitdepth_luma_qp_scale - SHIFT_QP;
#if FULL_NBIT
    Double qp_temp_orig = (Double) dQP - SHIFT_QP;
#endif
    // Case #1: I or P-slices (key-frame)
    Double dQPFactor = m_pcCfg->getGOPEntry(iGOPid).m_QPFactor;
    if ( eSliceType==I_SLICE )
    {
      if (m_pcCfg->getIntraQpFactor()>= && m_pcCfg->getGOPEntry(iGOPid).m_sliceType != I_SLICE)
      {
        dQPFactor=m_pcCfg->getIntraQpFactor();      //如果不是I帧，根据 cfg 配置，对GOP中不同Slice分配不同的拉格朗日乘子权重
      }
      else
      {
          //I帧根据GOP中非参考图像的个数分配拉格朗日乘子权重
        Double dLambda_scale =  - Clip3( , , *(Double)(isField ? NumberBFrames/ : NumberBFrames) );

        dQPFactor=*dLambda_scale;
      }
    }

    dLambda = dQPFactor*pow( , qp_temp/ );

    if ( depth> )      // I帧的 depth 为0
    {
#if FULL_NBIT
        dLambda *= Clip3( , , (qp_temp_orig / ) ); // (j == B_SLICE && p_cur_frm->layer != 0 )
#else
        dLambda *= Clip3( , , (qp_temp / ) ); // (j == B_SLICE && p_cur_frm->layer != 0 )
#endif
    }

    // if hadamard is used in ME process
    if ( !m_pcCfg->getUseHADME() && rpcSlice->getSliceType( ) != I_SLICE )
    {
      dLambda *= ;
    }

#if W0062_RECALCULATE_QP_TO_ALIGN_WITH_LAMBDA
    Double lambdaRef = *pow(, qp_temp/);
    // QP correction due to modified lambda
    Double qpOffset = floor((*log(dLambda/lambdaRef)/log()) +);
    dQP += qpOffset;
#endif

    iQP = max( -rpcSlice->getSPS()->getQpBDOffset(CHANNEL_TYPE_LUMA), min( MAX_QP, (Int) floor( dQP +  ) ) );
//iDQpIdx为遍历QP的索引
    m_vdRdPicLambda[iDQpIdx] = dLambda;
    m_vdRdPicQp    [iDQpIdx] = dQP;
    m_viRdPicQp    [iDQpIdx] = iQP;
  }
  // 如果没有多QP优化时，初始的QP和拉格朗日乘子选择索引为0的PQ和lambda
  // obtain dQP = 0 case
  dLambda = m_vdRdPicLambda[];
  dQP     = m_vdRdPicQp    [];
  iQP     = m_viRdPicQp    [];

           

顺带说一下，在编码CU过程中会递归调用xCompressCU函数，并在完成递归编码完子CU后都会比较率失真代价值

#if AMP_ENC_SPEEDUP
          DEBUG_STRING_NEW(sChild)
          if ( !(rpcBestCU->getTotalCost()!=MAX_DOUBLE && rpcBestCU->isInter()) )
          {
            xCompressCU( pcSubBestPartCU, pcSubTempPartCU, uhNextDepth DEBUG_STRING_PASS_INTO(sChild), NUMBER_OF_PART_SIZES );
          }
          else
          {

            xCompressCU( pcSubBestPartCU, pcSubTempPartCU, uhNextDepth DEBUG_STRING_PASS_INTO(sChild), rpcBestCU->getPartitionSize() );
          }
          DEBUG_STRING_APPEND(sTempDebug, sChild)
#else
          xCompressCU( pcSubBestPartCU, pcSubTempPartCU, uhNextDepth );
#endif

          rpcTempCU->copyPartFrom( pcSubBestPartCU, uiPartUnitIdx, uhNextDepth );         // Keep best part data to current temporary data.
          xCopyYuv2Tmp( pcSubBestPartCU->getTotalNumPart()*uiPartUnitIdx, uhNextDepth );
        }
        else
        {
          pcSubBestPartCU->copyToPic( uhNextDepth );
          rpcTempCU->copyPartFrom( pcSubBestPartCU, uiPartUnitIdx, uhNextDepth );
        }
      }

      m_pcRDGoOnSbacCoder->load(m_pppcRDSbacCoder[uhNextDepth][CI_NEXT_BEST]);
      if( !bBoundary )
      {
        m_pcEntropyCoder->resetBits();
        m_pcEntropyCoder->encodeSplitFlag( rpcTempCU, , uiDepth, true );

        rpcTempCU->getTotalBits() += m_pcEntropyCoder->getNumberOfWrittenBits(); // split bits
        rpcTempCU->getTotalBins() += ((TEncBinCABAC *)((TEncSbac*)m_pcEntropyCoder->m_pcEntropyCoderIf)->getEncBinIf())->getBinsCoded();
      }
      rpcTempCU->getTotalCost()  = m_pcRdCost->calcRdCost( rpcTempCU->getTotalBits(), rpcTempCU->getTotalDistortion() );
           

比较率失真代价函数，选择最优编码参数