當代生活，我們總是在追求更大的螢幕尺寸、更好的螢幕素質和更高的重新整理率。目前來看，電視螢幕的重新整理率已經從 4K 60 幀向 8K 120 幀過渡，手機也從 90 幀向 120 幀發展，最強的還是我們這些「打遊戲」的 PC 玩家，顯示器的重新整理率已經是 144 起步，還要玩顯示器超頻。
但是和螢幕對應的則是影視内容幀率的增長停滞：視訊已經實作了 30 幀向 60 幀過渡，電視劇和電影還是維持在 24 幀的水準。
在這樣的情況下，我們可以通過自給自足的方式實作視訊的補幀。
❶
什麼是補幀？
其實不管是 PC 上的補幀、PR 裡的光流法渲染、還是電視上的 MEMC 動态補償，本質上都是通過計算畫面中像素的運動軌迹，再依靠插幀的方式進行補幀。
在一段影片當中，一個物體的運動軌迹是相對固定的，是以通過算法可以很容易地算出兩幀畫面中物體的運動軌迹，在兩幀運動軌迹的中間加入模拟的運動軌迹幀，實作插幀效果。通過這樣的手段能夠實作 30 變 60 及以上的幀率，并且能夠減少畫面的拖影，讓視訊看起來更加幹淨清晰。
但是問題是這樣簡單的補幀會出現很多問題：例如會加大顯示卡的壓力，帶來散熱和功耗的壓力；有可能會出現畫面物體的撕裂；物體邊緣由于像素運動是「從無到有」，是以可能會出現連續性方面問題，這被稱之為塊效應；無法很好地解決前有遮擋的運動物體的運動軌迹補幀。
是以現階段最先進的補幀方案是通過 AI 計算的方式進行補幀，請注意這裡的 AI 不是噱頭，而是真的通過 AI 卷積神經網絡計算的方式。
首先，要喂給 AI 大量的已有影像資料，通過機器學習的方式使 AI 訓練出一個叫做「卷積核」的東西，這個卷積核是一個函數，輸入畫面到輸出畫面的變化就是由這個卷積核權重平均後決定的。
卷積核有點像一個「超級濾鏡」，通過這個卷積核計算的視訊能夠實作更加清晰和智能的補幀。
這種 AI 補幀能夠實作遠勝于傳統運動補幀算出來的視訊效果，在上海交大開源的 DAIN（Depth-Aware Video Frame Interpolation） 插幀算法中，已經可以實作自動識别景深來輔助插幀，這樣幾乎完全解決了由于遮擋帶來的畫面 BUG。
圖檔來源：極客灣視訊
但是相對來說這種補幀方式實作的成本也非常高：由于需要 CUDA 的幫助才能計算，是以必須要有一塊英偉達顯示卡，AI 計算非常吃顯示卡性能（尤其是顯存），是以這塊顯示卡的水準還不能太差；非常花時間，以小時或者天為機關來實作優化。
多說一句，這種 AI 計算的方式不但可以用來插幀，還可以用來提升畫質，實作 480P 變 4K 的神奇操作。2019 年上映的電影《決勝時刻》中的開國大典就是根據從俄羅斯買回來的原片經過 AI 算法進行了修複後，實作了「膠片變 4K」的神奇效果。
❷
如何實作補幀？
目前補幀操作主要還是在電視和 PC 上實作，電視主要依靠 MEMC 晶片進行運動補幀，通常在電視的設定裡，在這裡就不過多介紹了。這裡主要介紹一下 PC 的補幀方式。
AMD 顯示卡
如果你是 AMD 顯示卡，那麼你可以直接使用 AMD 官方的「AMD Fluid Motion video」功能搭配 Potplayer 播放器來完成插幀。
· 要有一張 GNC 或者 Vega 架構的 AMD 顯示卡，并下載下傳最新的 AMD 驅動。
· 打開「AMD Fluid Motion video」功能。
· 下載下傳 Bluesky Frame Rate Converter，安裝完成後點選「Enable AFM Support」。
· 在 Potplayer 中的「選項 - 濾鏡 - 全局優先濾鏡 - 添加系統濾鏡」選擇「Enable AFM Support」濾鏡，并強制使用。
這樣就完成了設定，新視訊就完成了視訊補幀，實測效果還可以吧。
NVIDIA 顯示卡
如果你是 Nvidia 顯示卡，可以選擇 SVP 或者是 DmitriRender 搭配 Potplayer 或者 MPC-HC 播放器使用。
SVP 已經是知名的老牌 PC 插幀軟體了，大家可以在其官網上選擇對應的版本進行下載下傳，Windows、Mac、Linux 都有支援，官方教程也比較清楚。
缺點是收費（比較貴）、比較吃系統資源（尤其是顯示卡），而且在我的 1050TI 筆記本上經常出現音畫不同步的情況。
DmitriRender 是一款新興的視訊插幀軟體，相較于 SVP 比較節省系統資源，收費也更便宜。使用方式同樣也是下載下傳後添加濾鏡。
這兩種方式 AMD 顯示卡和核顯都可以用，不過 AMD 更推薦上面的原生方案，核顯可能會出現資源不夠的情況。
特别提醒
插幀軟體通常會有電影和動漫兩種方案。
這是由于動畫通常不是一幀一張畫面的，而是「一拍二」或者「一拍三」，就是一張畫用兩幀或者三幀畫面，也就是說「12 張圖構成 24 幀」或者是「8 張圖構成 24 幀」，剩下的部分由觀衆「腦補」而成（人體神奇的大腦和視覺系統）。
庵野秀明的「一拍三」變「一拍一」
這被稱作「關鍵幀動畫」，由手冢治蟲提出。這樣做主要是可以在不降低動畫品質的前提下， 減輕動畫原畫的壓力，但是會給插幀軟體帶來困擾……
此外「隔行掃描」的視訊是無法進行插幀的，不過現在隔行掃描的視訊已經基本沒有了，是以影響不大。
目前來看，體驗出色的補幀視訊能夠相當程度上提升視訊的觀看體驗，這點相信看過李安最近幾部電影的都應該有所感覺。但是目前的民用補幀技術還相對比較落後，我還是非常期待 AI 補幀能夠達到正常使用者使用水準的那天。
一個更加流暢的世界。
撰文 / 恺倫
編輯 / 恺倫
責任編輯 / 恺倫
文中部分圖檔來源于網絡
© 愛否科技原創内容 轉載請聯系背景