編輯:編輯部
【新智元導讀】沒想到,剛剛上線了圖生視訊和視訊續寫功能的可靈AI,竟已在全世界網際網路上引爆了視訊創作的熱潮!
最近,可靈AI直接讓一位網友的家人群裡炸鍋了……
事情是這樣的,這位網友的父親需要做搭橋手術,為了給父親鼓舞,他便試着用可靈AI把爺爺的兩張老照片還原成了視訊。
在下面這個視訊中,爺爺正在北韓戰場,擔任營指導員。穿越時光隧道,1950年代風華正茂的爺爺,對着他揮了揮手。
這位網友把視訊發到家人群後,群裡直接炸了!
下面這張黑白的合影,是全家唯有的一張全家福。
當已經故去的人忽然動了起來,音容笑貌一如往昔,每個人都淚目了。
家人們久久不能平靜,即使已過午夜,群裡仍然不斷有消息響起。
用AI還原老照片後,全家人仿佛一起經曆了一場尋根之旅,從長輩口述的「家史」中,每個人都獲得了更多的自我身份認同感。
網友「珏哥」在他的公衆号「覺得有意思」裡表示,在他看來,AI最大的意義就是成為一台超級造夢機器:安排自己做個美夢,一覺醒來就有繼續去生活的勁頭了。
歪國仁都「饞哭了」
是的,這幾天快手可靈最新上線的圖生視訊和視訊續寫功能,不僅在國内掀起一波試用的熱潮,還「饞哭」了一衆外國網友。
如今,X上已經鋪滿了可靈生成和續寫的視訊。
比如這張著名的經典表情包,經過可靈的續寫後終于有了大結局!
每一步都在意料之外,但似乎又在情理之中(手動狗頭)
狗狗吃面也變得活靈活現。
要知道,曾經的快手可靈一出世,就讓外國網友們發出心悅誠服的感歎:效果居然比Sora還要好!
同樣是吃漢堡,可靈生成的「咬痕」就要比Sora更加逼真
一些申請到試用資格的使用者紛紛表示「真香」。而那些不能親自體驗的國外網友,紛紛「跪求」幫忙生成。
可以說,可靈給全世界的開發者們,再次帶來了來自中國的億點點震撼!
作者:溫維斯Wenvis
值得一提的是,由于太過爆火,快影App截至目前已有累計超過20萬人排隊申請。
是以說,這次可靈的兩大全新功能,究竟強大在哪裡?
圖生視訊
首先來看第一個功能——圖生視訊。
這一功能直接做到了化靜為動,讓我們從此可以按需定制視覺叙事。
可靈在文生視訊上的諸多強大功能,也被一一完美融入了,比如創造逼真的運動場景、精确模拟實體特性、将複雜概念巧妙融合、輸出電影級畫質、自由調節視訊縱橫比等等。
上傳一張圖檔,接下來,就是奇迹出現的時刻。
永遠面帶謎之微笑的蒙娜麗莎,竟然戴上了墨鏡,瞟向觀衆們的小眼神,更多了一絲調皮和狡黠。
prompt: 蒙娜麗莎用手戴了眼鏡
建構複雜時空一絕
業内都知道,模型在轉換靜态圖像為動态視訊時,如何細膩而準确地實作大幅度運動場景,要克服不少難點。
對此,可靈充分利用了基礎模型架構中的3D時空聯合注意力機制,在建構複雜時空運動方面,表現令人驚歎。
下面這個由靜圖生成的牧羊犬追球的視訊,自然流暢,效果非常絲滑。
無論是牧羊犬一下一下晃動的耳朵,還是随風飄揚的毛發,看起來都很符合實體規律。
prompt: 可愛的牧羊犬在奔跑,網球在彈跳,溫馨的氛圍
汽車在公路上飛馳的這段視訊,可靈對整體畫面的處理效果簡直堪稱廣告級大片。
不僅汽車疾速前行的姿态逼真自然,對向車道上接連不斷的車流、道路兩旁向後掠去的樹木、虛化處理的隔離帶,無不模拟出了疾馳的速度感,幾乎挑不出破綻。
prompt:汽車在公路上高速行駛,速度感,廣告片
文本指令控制視訊,女孩一鍵轉身
更厲害的是,可靈的圖生視訊模型還融入了強大的提示詞融合技術。
這就意味着,使用者可以對模型下達文本指令,來人為地掌控視訊中對象的動态表現了。
比如上傳這張女孩的照片後,普通的模型,可能會預設增加發絲飄動、花朵搖曳、水面閃爍波紋的效果。
但在可靈中,我們可以輸入「轉身背對鏡頭」的提示詞。
模型輸出的視訊中,女孩就開始優雅轉身,并且增添了轉身瞬間微笑、眨眼的細節,顯得更加自然生動。
可靈的這個新功能,也讓我們的想象力可以充分放飛。
比如小編在看《權力的遊戲》時經常想象的一個場景——「憤怒的巨龍,漫天飛沙,奇幻風格電影」,提示詞輸入後,幻想中的場景瞬間成真了!
巨龍昂首展翅,掀起漫天黃沙,咆哮聲震耳欲聾
這種文本與圖像意義的緊密關聯,無疑對影視制作等行業意義重大。(看來好萊塢導演撤掉8億美元攝影棚,的确是明智的選擇)
從此,視覺叙事可以按需定制,許多行業必将掀起新的飓風。
此外,這個模型還能支援不同風格的圖像輸入,無論自然寫實,還是風格化圖像。
同時,它還相容各種長寬比的圖像輸入,可以說是為國内各個短視訊平台量身打造。
這張豎版的騎士,黑袍飛舞,光劍仙氣環繞,氛圍感瞬間拉滿
實測效果
憑AI電影《山海奇境》刷屏全網的制作人陳坤,半年之後用可靈的圖生視訊功能重制了一遍《山海奇鏡》的預告片。
留言區的網友直呼「有大片的味道」。果然AI一天,人間一年。
這位叫「海軍愛攝影」的網友,直接将自己的攝影作品變成了視訊。
奔跑的女孩與駱駝,黑白的色調,顆粒的老電影質感,把攝影作品中包含壓迫感的内涵意蘊升華到了令人震撼的地步。
當世界名畫開始動起來,會給人怎樣的體驗?
「JessyJang」用可靈讓我們大開眼界。
無論是現代藝術的經典之作《The Son of Man》,還是著名油畫《戴珍珠耳環的少女》《吹笛少年》,都忽然開始活靈活現。霍格沃茨城堡上的油畫,原來是真實存在的?
B站up主「嗚哩智繪」,用可靈的圖生視訊功能,生成了各個樣子的戴珍珠耳環的少女。
人物動作、面部表情、手部細節、視訊中的光影,都堪稱完美。
「嗚哩智繪」直言:這是「目前我玩過的最穩定好用的圖生視訊」。
網友也表示——
「喜好兒網」則用可靈讓曆史人物活了起來。
網友們驚呼,可靈做出的愛因斯坦簡直跟紀錄片一樣。
up主「鑫訫向榮」直接把國文課本裡的插畫都還原了出來。還記得這些都是哪一課嗎?
up主「花染色體TT」,幹脆用可靈做了個「僞log」。
用幾張12年前的照片,讓記憶中的場面鮮活起來。此時,距離聯考還有16天——
美女的照片,變成視訊後美得更有沖擊力了。
即使混進了一些奇怪的東西,看起來似乎也很自然。
視訊續寫
其次,是對算法挑戰更大的「視訊續寫」。
它不僅要求模型了解視訊的基本元素,以及更深層次的叙事結構,還需要建立新的情景,而且在視覺和主題上都要保持連貫。
在這一領域,可靈則成功地把強大的想象力和精細的可控性發揮得淋漓盡緻。
随着功能的正式上線,所有視訊立刻在原有基礎上原地「+5秒」!
無論是文生視訊還是圖生視訊,皆可适用。
這對于創作者來說,視訊續寫至關重要。因為這種強大的叙事能力,可以極大地拓展他們的創作邊界。
無獨有偶,Runway的Gen-2可支援将視訊時間最高延續到18秒,每次點選「Extend」功能,可完成4秒的視訊,而且能夠保持人物的一緻性。
同樣,Pika也支援視訊延續的功能,而且使用者可以指定想要生成的時間,與原始視訊無縫內建。
而上周,初創公司Luma AI釋出的AI視訊模型Dream Machine,直接就定位為「續寫模型」,還能免費試玩。
各種表情包,成為網友們惡搞的對象,經過Dream Machine的想象,所有的靜圖都有了完美的後續。
可見,視訊續寫代表着整個AI視訊模型發展未來,打破了傳統視訊編輯的界限。
多次續寫,最長可達3分鐘
更矚目的是,可靈大模型甚至還能連續多次續寫,這樣的結果就是,我們最長能夠生成長達約3分鐘的連貫視訊!
續寫x1:一個女人站在雪地裡,擡起右手摸了一下帽檐
續寫x2:女人的手放下,并望向遠方
深刻了解實體世界,合理且大幅度動作無破綻
可以看出,新生成的部分和原視訊之間,依然保持着運動連貫性和實體的合理性,這正是基于可靈大模型對于實體運動的深入了解。
而這種續寫,就給巧妙融入大幅度動作變化帶來了可能,讓視訊的生動性大大提高。
續寫x1:宇航員從月球表面跳起來,飛向太空
同樣,在視訊續寫中也內建了文本控制機制,是以使用者可以通過自定義提示詞,為每段視訊注入個性化的創意。
由此,我們想要的每次場景都可以平滑過渡,可以說是不放過咱們都任何一個靈感小火花!
文本控制續寫,場景轉換絲滑
比如這座古堡,我們既可以在場景中讓「太陽落下,天空變暗,燈光漸亮」,随後讓「燈光亮起,霧氣氤氲」。
實測效果
而網友們用續寫功能做出來的視訊,效果簡直一個比一個炸裂!
網友「石碩Simon」直接用可靈的續寫功能創作了長達1分多鐘的一鏡到底。
多次續寫的鏡頭,依然保持着令人叫絕的連貫性。
「PlayerKang」生成的59秒奔馳汽車大片,無論在連續性、穩定性和流暢性上都令人叫絕,已經接近了替代商業廣告片的水準。
「西地宇宙CDVERSE」用可靈的視訊續寫功能,做出了一套古香古韻的「日出東方」大片。
整個視訊,是用一張圖檔生成的長鏡頭。
每個鏡頭中的人物,始終保持着穩定。
技術積累
此次進化,可靈文生視訊基礎大模型被無縫整合到「圖生視訊」和「視訊續寫」功能中,帶來了更豐富、靈活的視訊創作體驗。
這些能力,都基于快手在AI大模型時代的不斷布局。
快手先後釋出了,通用大語言模型「快意」,文生圖大模型「可圖」,還有Direct-a-Video、Video-LaVIT、I2V-Adapter、UNIAA等視訊生成關鍵技術。
恰逢近日在美國西雅圖舉行的國際計算機視覺頂會CVPR 2024上,快手也同步釋出了可靈大模型的圖生視訊和視訊續寫等最新功能,引起現場的強烈反響。
公開資料顯示,今年快手共有8篇論文入選CVPR 2024,彰顯了其在該領域的深厚研究功底。
除了憑借創新的技術在CVPR上大放異彩之外,作為一家引領行業發展的公司,還要用戰略眼光将技術落地到應用。
就在即将開幕的2024世界人工智能大會(WAIC)上,快手将舉辦以「新AI·新應用·新生态」為主題的大模型技術生态論壇。
屆時,不僅會釋出最新的大模型技術,還包括快手大模型技術矩陣全景、應用和落地現狀等一系列多元度、多方向的戰略讨論。