天天看點

為給藝術生講程式設計,上海大學副教授“變身”蘿莉,自制軟體二次元上網課

疫情帶火了線上教育,也把一批老師逼成了“主播”。

為了給在家上課的同學們的同學們更好的學習體驗,老師們煞費苦心,各種線上直播軟體齊上陣。不過,學生還沒開始抱怨,老師倒是先把苦叫上了天,紛紛表示“當主播這麼不容易”。

最近,上海大學開啟線上教學,為了提高學生上課的積極性,根據澎湃新聞報道,上海大學數位藝術系副主任、副教授蔣飛把他的《動态構成》這門線上教學直播課玩出了花。

作為一名給藝術系學生講授計算機程式設計的老師,他擔心課程太枯燥學生不願意看,于是利用虛拟現實和增強現實技術,把自己的課堂搬進了二次元,“變裝”上課,從動作到嘴形都可以實時同步動漫人物。

利用技術手段,不僅可以在二次元裡感受更加有代入感的“課堂”環境,還可以讓同學自行選擇各種講課的動畫人物,從萌妹子到機械人,應有盡有。

如果學生們選擇了二次元萌妹子,上課的畫風瞬間就會變成這樣👇,上課的學生對此驚訝連連贊不絕口,網課的聽課率也顯著提高。

近日,蔣飛老師也在澎湃新聞的采訪視訊中說明了自己為何萌生了這樣的想法,又是如何“變裝”萌妹子上課的,快和文摘菌一起來看看吧~

“變裝萌妹”上課,從大學課堂火到了研究所學生

其實,在做增強現實的網課之前,蔣飛也遇到了上述難題,就是老師辛辛苦苦錄制了網課,但是課程上線後,并不是所有的學生都看了。

于是,為了讓同學們更輕松也更容易地進行學習,也為了更好地給藝術系的同學們講解計算機程式設計的相關知識,他利用了雙目攝像頭,再結合了自己開發的軟體,完成了線上“變裝”,在這個系統完成後,蔣飛表示,“學生上課的積極性,還有作業品質的提高有明顯的進步”。

甚至,蔣飛發現,有不少學生會提前完成錄播課的學習,提前上交作業,到了課堂讨論環節,學生會提出超綱問題。是以他現在也需要根據同學們的學習情況實時調整授課進度。

“這也是因課制宜,我的課程講計算機方面的藝術,很多設計用到程式設計,非常适合網上教學。”蔣飛說,錄播課可以反複回看,直播課用來答疑互動,虛拟替身就是在這時出現。

一開始,隻有大學畢業設計課上會用到“變裝”裝置,但是研究所學生知道這個情況後,也紛紛“上書”要求老師這樣上課。如今,蔣飛已經優化了軟體,能夠實作虛拟替身的流暢運作了。

“線下上課仍以老師為中心,線上教學以學生為中心,我的造型都是學生幫選的。”談到線上教學,蔣飛認為,這也是對老師的一種挑戰,老師的壓力更大了,“我感覺上了一個小時的線上,相當于兩個小時的線下,真的是成倍的增加”。

雙目攝像頭捕捉人體,自制軟體合成動畫

生成這樣的虛拟替身一共需要兩個步驟,一是通過視訊捕捉老師的肢體動作;二是通過軟體将實時監測出的人體資料通過軟體與虛拟形象進行比對,生成動畫。

傳統的人體動作捕捉一般用于影視制作,在一些科幻片的拍攝花絮上,我們經常可以看到綠幕前的演員身上綁了許多小球,這些小球就是一種傳感器,可以将位置狀态實時傳輸到計算機中用于後期合成。

這種方式盡管比較精确,但是過于複雜,蔣飛老師采取的是利用雙目攝像頭來捕捉肢體動作。

雙目攝像頭可以在同一場景下拍攝左右兩幅圖像,運用立體比對算法擷取視差圖,進而擷取深度圖,而後通過景深圖對二維圖像進行三維重建。

當然,蔣飛老師的目的是将身體動作同步到動畫人物上,是以也不需要進行完整的三維模組化,而隻需要通過視訊定位自己的身體部位,即基于雙目視覺建構人體動作捕捉系統,一種可行的方法是基于顔色特征的Camshift算法對人體關節進行追蹤,結合Kalman濾波提高抗幹擾性。

當然,現在也有各種深度學習模型可以提供基于視訊的人體姿态估計,并且不需要雙目視覺,普通攝像頭也可以完成,主要是通過大量已标記的視訊資料進行模型訓練,進而讓模型可以僅憑二維圖像就可以捕捉人的關鍵關節(肘部、手腕、膝蓋等)。

從DeepNet到HRNet,文摘菌也曾經對基于深度學習的“人體姿勢估計”進行了

梳理

,感興趣的同學可以回顧一下。

第二步便是将檢測到的人體資料與動畫人物相比對,這個需要相應的軟體,Adobe公司出品的CharacterAnimator就可以将人體的動作實時投射到動畫人物,但是卻不能實時運作,隻能用于後期。

蔣飛老師是通過自己制作的軟體完成的這一步,并且進行了優化,這個軟體要将接收到的雙目攝像頭的視訊資料轉化為人體姿态資料,再對虛拟人物進行實時渲染,還要合成到課堂環境中,這個難度還是不小的。

這次變裝“蘿莉”的老師蔣飛是上海大學美術學院數位藝術系副主任、美國麻省理工媒體實驗室通路教授、中國工業設計協會資訊與互動設計專業委員會委員。他從事的研究方向正是數字媒體藝術與資訊與互動設計,始終緻力于打造技術與藝術融合的複合型人才,認為學生們應該有良好的藝術素養和獨特的個人創意

蔣飛曾公開表示過,跨學科合作應該是高校數字藝術發展的一個方向,因為數字媒體人才是複合型人才,除了要求從業者有熟練的操作技巧之外,更要求從業者有良好的藝術素養和獨特的個人創意,技術教育應與文化、藝術融合。創新型數位藝術人才要求數字制作相關人員既要具有人文藝術修養,又要能夠運用最新的數字制作技術手段。

這次疫情期間,蔣飛通過“變裝”的方式為同學們上網課,講技術和媒介完美結合,也是對自己的教學理念做出了最直接的實踐。

其實近年來,用技術輔助内容的線上教育也是風生水起,比如去年北京郵電大學就開通了虛拟課堂,采用5G+4K全息投影的方式遠端直播授課。

去年9月16日,北京郵電大學全息投影遠端直播教室首次正式上課。在沙河校區由蘆鵬飛老師主講的諾貝爾實體學獎簡史課程以全息投影的方式與西土城校區的同學們見面了。

北郵的這次全息投影遠端直播授課主要有兩個特色,一是憑借5G低延遲時間、高速率特性實作的4K影像實時傳輸,二是全息投影帶來的全新體驗。

基于5G技術實作的4K全息影像傳輸非常流暢,上課過程中幾乎沒有出現卡頓現象,相當驚豔。但是,全息投影技術還沒有盡善盡美,依舊有很大的發展空間。

去年12月20日,北郵又表示可以線上上學數學了!

李鶴老師站在藍色的幕布前,生動的講着拉格朗日中值定理,面前卻沒有一位學生。沒錯,大家都在螢幕前!

不僅可以在寝室看直播學習,直播結束後還可以看回放哦~北郵的同學們對虛拟課堂贊不絕口,同時也充滿了期待:

“全息影像授課非常新穎,而且比傳統的視訊遠端授課更加真實。”

“感謝李老師生動精彩的講評,很多思路都對我有極大的幫助,希望今後可以看到更多新技術與教學的融合應用,不斷帶給我們更好的課程體驗!”

通過這次疫情采取的線上學習,讓我們感受到老師們的努力與敬業,同時也讓我們看到了未來網課的無限潛力。科技和教育一直是相輔相成的兩個方向,可以推動彼此向更好的方向發展。

如果未來的

網課

都能做到生動形象,智趣兼備,讓學生體會到學習的趣味性,那麼這樣的網課,誰能不愛呢

繼續閱讀