尤洋團隊新作，首個基于DiT的實時視訊生成方法來了！
先來直覺感受一下效果（右側為新方法）：
【此處無法插入視訊，遺憾……可到量子位公衆号檢視～】
這是團隊在Open-Sora上，使用5個4s（192幀）480p分辨率視訊進行的測試。
新方法名為Pyramid Attention Broadcast（PAB），由新加坡國立大學尤洋以及3位學生推出。
具體來說，PAB通過減少備援注意力計算，可實作高達21.6FPS和10.6倍加速，并且不會犧牲基于DiT的流行視訊生成模型（包括Open-Sora、Open-Sora-Plan和Latte）的品質。
作為一種免訓練方法，PAB可為将來任何基于DiT的視訊生成模型提供實時功能。
看完效果對比，網友們紛紛驚歎：
這将是新紀元。
也引來了衆多專業人士的轉發和點評，如MIT博士Yilun Du表示：
是一個展示了如何将視訊生成加速到實時速度的酷炫工作！可能會為視訊政策和模拟的現實世界用例開辟新的領域。
那麼，新方法具體如何破解實時生成視訊這個難題的呢？
減少備援注意力計算
一開始，團隊比較了目前擴散步驟與前一步驟的注意力輸出差異。
這些差異通過均方誤差（MSE）進行量化，并對每個擴散步驟的所有層進行平均。
團隊捕捉到兩個關鍵資訊：
- 随着時間推移，注意力差異遵循U形模式，中間70%差異較小
- 注意力差異的排序為：空間>時間>交叉
具體而言，不同時間步驟的注意力差異呈現出U形模式，在第一步和最後一步的15%步驟中發生顯著變化，而中間70%的步驟非常穩定，差異很小。
其次，在穩定的中間部分，不同類型的注意力表現出差異：空間注意力變化最大，涉及高頻元素，如邊緣和紋理；時間注意力顯示出與視訊中的運動和動态相關的中頻變化；跨模态注意力最為穩定，它将文本與視訊内容聯系起來，類似于反映文本語義的低頻信号。
對此，團隊正式提出用PAB來減少不必要的注意力計算。
PAB通過根據每種注意力的差異将注意力輸出到不同的後續步驟，進而節省計算量。
舉個例子，就像廣播電台把一個信号發送給多個聽衆一樣，如果某個步驟的注意力結果在接下來的幾個步驟中仍然适用，就不需要重新計算，而是直接使用之前的結果。
團隊發現，即使沒有後期訓練，這種簡單政策也能實作高達35%的加速，并且品質損失可以忽略不計。
為了進一步增強PAB，團隊基于動态序列并行（DSP）改進了序列并行。
序列并行通過在多個GPU上分割視訊以降低延遲，但DSP帶來的時間注意力需兩次全對全通信，導緻高通信開銷。
而PAB由于時間注意力不再需要被計算，使這些通信開銷減少了50%以上，進而優化了實時視訊生成的分布式推理效率。
借助并行功能，PAB可實作高達21.6FPS和10.6倍加速，并且不會犧牲基于DiT的流行視訊生成模型（包括Open-Sora、Open-Sora-Plan和Latte）的品質。
展開來說，團隊測量了PAB在8個英偉達H100 GPU上為不同模型生成單個視訊的總延遲。
使用單個GPU時，PAB實作了1.26倍到1.32倍的速度提升，這一提升在不同排程器中保持穩定。
擴充到多個GPU時，PAB實作了高達10.6倍的速度提升，且這一提升幾乎與GPU數量成線性關系。
背後團隊
簡單介紹一下提出PAB的團隊成員，總共有4位。
尤洋教授想必大家都比較熟悉了，清華計算機系碩士，UC伯克利博士，畢業後加入新加坡國立大學計算機系，擔任校長青年教授 （Presidential Young Professor）。
2021年7月，在北京中關村創辦了“潞晨科技”。
作者之一Xuanlei Zhao（趙軒磊），華科大計算機科學與電子資訊專業工程學士，碩博均在新國立（目前為博一），導師為尤洋，研究方向包括但不限于算法、資料結構、計算機網絡、信号處理、通信系統等方面。
作者之一Kai Wang（王锴），新國立HPC-AI實驗室博士生，導師為尤洋，大學就讀于北師大珠海分校電氣工程與自動化系，碩士就讀于中科院深圳先進技術研究院(MMLAB-SIAT)，研究重點是以資料為中心的人工智能和高效機器學習。他和尤洋教授共同指導了這個項目。
最後一位Xiaolong Jin（金小龍），大學就讀于中國科學技術大學少年班學院，目前是普渡大學在讀博士生。
目前相關研究已公開，感興趣可以進一步了解。
— 完 —
量子位 QbitAI · 頭條号簽約
關注我們，第一時間獲知前沿科技動态