蕭箫 發自 凹非寺
量子位 | 公衆号 QbitAI
一組神秘的“虛拟老婆”照片，最近在國内外社交媒體上傳瘋了。
怎麼回事？
試着用手機掃一下，就能發現其中的玄機——
原來這些看起來頗為自然的照片，都是藏了二維碼的圖像。它們不僅能被手機相機識别，跳轉的網站還都是有效的：
從推特到Reddit，每隔幾條就能刷出這些二維碼照片，下面全是一片“竟然掃出來了”的驚歎聲。
最關鍵的是，這些照片并非手動繪制，而是用Stable Diffusion生成的，背後再一次加持了神奇的ControlNet魔法。
生成的二維碼圖像風格，也遠非隻有二次元虛拟人像這一種，一起來看看~
8種圖像風格任意可選
除了上述的二次元插（lao）畫（po）風格以外，作者們還展示了另外8種二維碼圖像的生成效果。
這是立體風格的二維碼圖像，看起來就像一張真正的城市照片一般：
有網友感歎，簡直可以在實體世界中構造一個真的二維碼城市了：
甚至它隻能在特定的地點、特定的日子、特定的時間被掃出來，有尋寶遊戲内味了。
這類立體作品不僅細節可控（如更多的草木植被），還可以改變風格，生成更具機械感的科幻二維碼圖像：
3D城市看得不過瘾，還有2D抽象風格的作品，資料都藏在小房子裡了：
除此之外，二維碼還能被融入中國傳統紋樣風格中，或是被巧妙放置在瓷器或壁畫一類的裝飾物裡：
更具藝術性的水墨風格也能hold住，無縫銜接畫作筆迹：
又或是這種水彩風格的畫作：
日式的浮世繪風格也沒問題：
還能嵌進PCB風格圖像裡，以後電路闆要找售後，直接掃碼就行（doge）：
顯然，除了二維碼圖像可控，模型就連插畫風格都能很好地控制。
這背後究竟是依靠什麼技術實作的？
LoRA和ControlNet齊出動
要想實作這種圖像風格+二維碼可控的效果，需要Stable Diffusion結合LoRA和ControlNet一起實作。
其中，LoRA負責控制整體的圖像風格，ControlNet則負責確定二維碼“放進”了圖像中。
LoRA全稱Low-Rank Adaptation of Large Language Models，能很好地實作少樣本學習，進而對Stable Diffusion的圖像風格生成進行更精準的控制。
換而言之，最少隻需要幾十張同種風格的圖檔，就能訓練一個LoRA，用來調教Stable Diffusion生成的效果。
目前，比較有特色的如中國傳統風格和浮世繪風格的圖像，作者們都已經在Civitai和Hugging Face等平台上開源了對應的LoRA模型。
像浮世繪風格LoRA模型，就已經可以在Civitai上直接下載下傳：
訓練這樣一個浮世繪風格的LoRA模型，并不需要很多照片，像這個模型就隻用了46幅葛飾北齋《富嶽三十六景（追加十景）》的浮世繪。
風格變化更加多樣的，如生成不同中國傳統紋樣的圖檔，也隻需要近百張圖檔訓練：
就可以得到能畫出不同紋樣的LoRA模型：
QR Code ControlNet則是作者們新訓練的一個二維碼圖像生成專用ControlNet模型，目前還在不斷優化中。
作者們嘗試了不同的Stable Diffusion Checkpoint、LoRA和QR Code ControlNet的組合，生成了上面這些二維碼圖像的效果。
值得一提的是，結合最近的PS新出的Generative Fill功能，這些二維碼還能被很好地嵌進一大塊AI生成圖像中：
有網友調侃，未來就連廣告也會變得更好看了。
作者介紹
制作這個二維碼生成項目的作者一共有四位，分别來自中國傳媒大學和北京航空航天大學。
其中，倪豪和陳柏宇是中國傳媒大學大四大學生，王照涵是中國傳媒大學一年級研究所學生，陳智勇是北京航空航天大學大四大學生。
在這次的AI二維碼圖像生成項目前，倪豪和陳智勇就已經做出過一個參數化二維碼生成器，不過主要采用的還是圖形學方面的技術。
據倪豪介紹，他們之前的研究方向主要集中在圖形學和互動藝術上，随着這段時間AIGC爆火，團隊也對這方面的技術産生了興趣。
這段時間裡，他們開發了不少不同風格的LoRA模型，以及可控制光影的ControNet等，目前模型也都已經放在Civitai上。
團隊表示，目前這個二維碼圖像生成模型還在持續優化中，後續如果有更多的進展更新，也會同步到這個網站上。
可以碼住期待一波了~
團隊已開發的AI模型：
https://aigc.ioclab.com/index.html
參考連結：
[1]更多二維碼效果展示：https://mp.weixin.qq.com/s/i4WR5ULH1ZZYl8Watf3EPw
[2]https://www.reddit.com/r/StableDiffusion/comments/141hg9x/controlnet_for_qr_code/
[3]https://twitter.com/dahbiahmed/status/1665778398084431872
— 完 —
量子位 QbitAI · 頭條号簽約
關注我們，第一時間獲知前沿科技動态