天天看點

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

作者:新智元

編輯:編輯部

【新智元導讀】沒想到,剛剛上線了圖生視訊和視訊續寫功能的可靈AI,竟已在全世界網際網路上引爆了視訊創作的熱潮!

最近,可靈AI直接讓一位網友的家人群裡炸鍋了……

事情是這樣的,這位網友的父親需要做搭橋手術,為了給父親鼓舞,他便試着用可靈AI把爺爺的兩張老照片還原成了視訊。

在下面這個視訊中,爺爺正在北韓戰場,擔任營指導員。穿越時光隧道,1950年代風華正茂的爺爺,對着他揮了揮手。

這位網友把視訊發到家人群後,群裡直接炸了!

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

下面這張黑白的合影,是全家唯有的一張全家福。

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

當已經故去的人忽然動了起來,音容笑貌一如往昔,每個人都淚目了。

家人們久久不能平靜,即使已過午夜,群裡仍然不斷有消息響起。

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

用AI還原老照片後,全家人仿佛一起經曆了一場尋根之旅,從長輩口述的「家史」中,每個人都獲得了更多的自我身份認同感。

網友「珏哥」在他的公衆号「覺得有意思」裡表示,在他看來,AI最大的意義就是成為一台超級造夢機器:安排自己做個美夢,一覺醒來就有繼續去生活的勁頭了。

歪國仁都「饞哭了」

是的,這幾天快手可靈最新上線的圖生視訊和視訊續寫功能,不僅在國内掀起一波試用的熱潮,還「饞哭」了一衆外國網友。

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋
快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

如今,X上已經鋪滿了可靈生成和續寫的視訊。

比如這張著名的經典表情包,經過可靈的續寫後終于有了大結局!

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

每一步都在意料之外,但似乎又在情理之中(手動狗頭)

狗狗吃面也變得活靈活現。

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

要知道,曾經的快手可靈一出世,就讓外國網友們發出心悅誠服的感歎:效果居然比Sora還要好!

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

同樣是吃漢堡,可靈生成的「咬痕」就要比Sora更加逼真

一些申請到試用資格的使用者紛紛表示「真香」。而那些不能親自體驗的國外網友,紛紛「跪求」幫忙生成。

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋
快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

可以說,可靈給全世界的開發者們,再次帶來了來自中國的億點點震撼!

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

作者:溫維斯Wenvis

值得一提的是,由于太過爆火,快影App截至目前已有累計超過20萬人排隊申請。

是以說,這次可靈的兩大全新功能,究竟強大在哪裡?

圖生視訊

首先來看第一個功能——圖生視訊。

這一功能直接做到了化靜為動,讓我們從此可以按需定制視覺叙事。

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

可靈在文生視訊上的諸多強大功能,也被一一完美融入了,比如創造逼真的運動場景、精确模拟實體特性、将複雜概念巧妙融合、輸出電影級畫質、自由調節視訊縱橫比等等。

上傳一張圖檔,接下來,就是奇迹出現的時刻。

永遠面帶謎之微笑的蒙娜麗莎,竟然戴上了墨鏡,瞟向觀衆們的小眼神,更多了一絲調皮和狡黠。

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

prompt: 蒙娜麗莎用手戴了眼鏡

建構複雜時空一絕

業内都知道,模型在轉換靜态圖像為動态視訊時,如何細膩而準确地實作大幅度運動場景,要克服不少難點。

對此,可靈充分利用了基礎模型架構中的3D時空聯合注意力機制,在建構複雜時空運動方面,表現令人驚歎。

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

下面這個由靜圖生成的牧羊犬追球的視訊,自然流暢,效果非常絲滑。

無論是牧羊犬一下一下晃動的耳朵,還是随風飄揚的毛發,看起來都很符合實體規律。

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

prompt: 可愛的牧羊犬在奔跑,網球在彈跳,溫馨的氛圍

汽車在公路上飛馳的這段視訊,可靈對整體畫面的處理效果簡直堪稱廣告級大片。

不僅汽車疾速前行的姿态逼真自然,對向車道上接連不斷的車流、道路兩旁向後掠去的樹木、虛化處理的隔離帶,無不模拟出了疾馳的速度感,幾乎挑不出破綻。

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

prompt:汽車在公路上高速行駛,速度感,廣告片

文本指令控制視訊,女孩一鍵轉身

更厲害的是,可靈的圖生視訊模型還融入了強大的提示詞融合技術。

這就意味着,使用者可以對模型下達文本指令,來人為地掌控視訊中對象的動态表現了。

比如上傳這張女孩的照片後,普通的模型,可能會預設增加發絲飄動、花朵搖曳、水面閃爍波紋的效果。

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

但在可靈中,我們可以輸入「轉身背對鏡頭」的提示詞。

模型輸出的視訊中,女孩就開始優雅轉身,并且增添了轉身瞬間微笑、眨眼的細節,顯得更加自然生動。

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋
快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

可靈的這個新功能,也讓我們的想象力可以充分放飛。

比如小編在看《權力的遊戲》時經常想象的一個場景——「憤怒的巨龍,漫天飛沙,奇幻風格電影」,提示詞輸入後,幻想中的場景瞬間成真了!

巨龍昂首展翅,掀起漫天黃沙,咆哮聲震耳欲聾

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

這種文本與圖像意義的緊密關聯,無疑對影視制作等行業意義重大。(看來好萊塢導演撤掉8億美元攝影棚,的确是明智的選擇)

從此,視覺叙事可以按需定制,許多行業必将掀起新的飓風。

此外,這個模型還能支援不同風格的圖像輸入,無論自然寫實,還是風格化圖像。

同時,它還相容各種長寬比的圖像輸入,可以說是為國内各個短視訊平台量身打造。

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

這張豎版的騎士,黑袍飛舞,光劍仙氣環繞,氛圍感瞬間拉滿

實測效果

憑AI電影《山海奇境》刷屏全網的制作人陳坤,半年之後用可靈的圖生視訊功能重制了一遍《山海奇鏡》的預告片。

留言區的網友直呼「有大片的味道」。果然AI一天,人間一年。

這位叫「海軍愛攝影」的網友,直接将自己的攝影作品變成了視訊。

奔跑的女孩與駱駝,黑白的色調,顆粒的老電影質感,把攝影作品中包含壓迫感的内涵意蘊升華到了令人震撼的地步。

當世界名畫開始動起來,會給人怎樣的體驗?

「JessyJang」用可靈讓我們大開眼界。

無論是現代藝術的經典之作《The Son of Man》,還是著名油畫《戴珍珠耳環的少女》《吹笛少年》,都忽然開始活靈活現。霍格沃茨城堡上的油畫,原來是真實存在的?

B站up主「嗚哩智繪」,用可靈的圖生視訊功能,生成了各個樣子的戴珍珠耳環的少女。

人物動作、面部表情、手部細節、視訊中的光影,都堪稱完美。

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

「嗚哩智繪」直言:這是「目前我玩過的最穩定好用的圖生視訊」。

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

網友也表示——

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

「喜好兒網」則用可靈讓曆史人物活了起來。

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

網友們驚呼,可靈做出的愛因斯坦簡直跟紀錄片一樣。

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

up主「鑫訫向榮」直接把國文課本裡的插畫都還原了出來。還記得這些都是哪一課嗎?

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋
快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

up主「花染色體TT」,幹脆用可靈做了個「僞log」。

用幾張12年前的照片,讓記憶中的場面鮮活起來。此時,距離聯考還有16天——

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋
快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

美女的照片,變成視訊後美得更有沖擊力了。

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋
快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

即使混進了一些奇怪的東西,看起來似乎也很自然。

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋
快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

視訊續寫

其次,是對算法挑戰更大的「視訊續寫」。

它不僅要求模型了解視訊的基本元素,以及更深層次的叙事結構,還需要建立新的情景,而且在視覺和主題上都要保持連貫。

在這一領域,可靈則成功地把強大的想象力和精細的可控性發揮得淋漓盡緻。

随着功能的正式上線,所有視訊立刻在原有基礎上原地「+5秒」!

無論是文生視訊還是圖生視訊,皆可适用。

這對于創作者來說,視訊續寫至關重要。因為這種強大的叙事能力,可以極大地拓展他們的創作邊界。

無獨有偶,Runway的Gen-2可支援将視訊時間最高延續到18秒,每次點選「Extend」功能,可完成4秒的視訊,而且能夠保持人物的一緻性。

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

同樣,Pika也支援視訊延續的功能,而且使用者可以指定想要生成的時間,與原始視訊無縫內建。

而上周,初創公司Luma AI釋出的AI視訊模型Dream Machine,直接就定位為「續寫模型」,還能免費試玩。

各種表情包,成為網友們惡搞的對象,經過Dream Machine的想象,所有的靜圖都有了完美的後續。

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

可見,視訊續寫代表着整個AI視訊模型發展未來,打破了傳統視訊編輯的界限。

多次續寫,最長可達3分鐘

更矚目的是,可靈大模型甚至還能連續多次續寫,這樣的結果就是,我們最長能夠生成長達約3分鐘的連貫視訊!

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

續寫x1:一個女人站在雪地裡,擡起右手摸了一下帽檐

續寫x2:女人的手放下,并望向遠方

深刻了解實體世界,合理且大幅度動作無破綻

可以看出,新生成的部分和原視訊之間,依然保持着運動連貫性和實體的合理性,這正是基于可靈大模型對于實體運動的深入了解。

而這種續寫,就給巧妙融入大幅度動作變化帶來了可能,讓視訊的生動性大大提高。

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

續寫x1:宇航員從月球表面跳起來,飛向太空

同樣,在視訊續寫中也內建了文本控制機制,是以使用者可以通過自定義提示詞,為每段視訊注入個性化的創意。

由此,我們想要的每次場景都可以平滑過渡,可以說是不放過咱們都任何一個靈感小火花!

文本控制續寫,場景轉換絲滑

比如這座古堡,我們既可以在場景中讓「太陽落下,天空變暗,燈光漸亮」,随後讓「燈光亮起,霧氣氤氲」。

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

實測效果

而網友們用續寫功能做出來的視訊,效果簡直一個比一個炸裂!

網友「石碩Simon」直接用可靈的續寫功能創作了長達1分多鐘的一鏡到底。

多次續寫的鏡頭,依然保持着令人叫絕的連貫性。

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

「PlayerKang」生成的59秒奔馳汽車大片,無論在連續性、穩定性和流暢性上都令人叫絕,已經接近了替代商業廣告片的水準。

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

「西地宇宙CDVERSE」用可靈的視訊續寫功能,做出了一套古香古韻的「日出東方」大片。

整個視訊,是用一張圖檔生成的長鏡頭。

每個鏡頭中的人物,始終保持着穩定。

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

技術積累

此次進化,可靈文生視訊基礎大模型被無縫整合到「圖生視訊」和「視訊續寫」功能中,帶來了更豐富、靈活的視訊創作體驗。

這些能力,都基于快手在AI大模型時代的不斷布局。

快手先後釋出了,通用大語言模型「快意」,文生圖大模型「可圖」,還有Direct-a-Video、Video-LaVIT、I2V-Adapter、UNIAA等視訊生成關鍵技術。

恰逢近日在美國西雅圖舉行的國際計算機視覺頂會CVPR 2024上,快手也同步釋出了可靈大模型的圖生視訊和視訊續寫等最新功能,引起現場的強烈反響。

公開資料顯示,今年快手共有8篇論文入選CVPR 2024,彰顯了其在該領域的深厚研究功底。

快手“可靈”再進化!視訊續寫可達3分鐘,網友炸鍋

除了憑借創新的技術在CVPR上大放異彩之外,作為一家引領行業發展的公司,還要用戰略眼光将技術落地到應用。

就在即将開幕的2024世界人工智能大會(WAIC)上,快手将舉辦以「新AI·新應用·新生态」為主題的大模型技術生态論壇。

屆時,不僅會釋出最新的大模型技術,還包括快手大模型技術矩陣全景、應用和落地現狀等一系列多元度、多方向的戰略讨論。

繼續閱讀