天天看點

在元宇宙裡跳舞,舞蹈SaaS平台“踏歌”做了款舞蹈數字人

如果玩家不穿全套動作捕捉裝置,未來自己的虛拟形象若想在元宇宙裡跳舞,有點兒難。其次,制作複雜且有美感的舞蹈動作,對于數字人廠商來說,也是個門檻兒。36氪獲悉,「踏歌」可以為遊戲廠商、廣告商等提供虛拟人舞蹈和音樂解決方案。

踏歌(北京遒歌科技有限公司)成立于2021年4月,為舞蹈工作室提供Saas平台是踏歌的主體業務,基于SaaS平台,踏歌衍生出了超寫實舞蹈數字人解決方案、舞蹈與音樂領域數字藏品等業務。

在元宇宙裡跳舞,舞蹈SaaS平台“踏歌”做了款舞蹈數字人

「踏歌」為SPY舞室打造超寫實舞蹈數字人「舞踏思」

SaaS業務方面,舞室将自制舞蹈課程上傳至踏歌舞蹈雲平台,供其學員在課下使用踏歌APP進行熱身、複習和打卡。 另一方面,舞室學員打開「踏歌APP」,将攝像頭對準自己,像玩遊戲一樣學習跳舞,手機攝像頭姿态識别算法自動識别學員舞蹈動作,“老師”對其舞蹈進行拆解動作、識别舞風、打分、糾錯。

這套動作姿态識别算法基于大量舞蹈動作積累,“舞室老師會穿上我們的動作捕捉裝置,或者前往動捕基地進行舞蹈錄制”,據創始人李迪介紹,踏歌已經積累了爵士舞動作姿态資料内容庫,而爵士舞是女性群體中閱聽人最廣的舞種之一。

技術方面,舞蹈動作複雜且變化速度快,對視覺算法的處理速度有很高要求。踏歌使用的手機攝像頭姿态識别算法,采用“動作捕捉+視覺識别”方案采集舞蹈動作。該算法在某款中等配置手機上做到了20ms處理一幀,相同硬體平台下是Google ML kit耗時的1/3。依托于這一高效的移動平台攝像頭姿态識别算法,踏歌可以衍生出其它玩法以增強護城河,例如舞蹈數字人。

據李迪介紹,從舞蹈數字人應用場景來看,數字人可以在音樂首發MV裡跳舞,未來踏歌還可以為遊戲開發者、廣告主等提供舞蹈解決方案。“制作超寫實數字人模型是一個競争日益激烈且勞動密集型的業務。為了做出特色和深度,踏歌專注于讓超寫實數字人跳最專業、最流暢的舞蹈這一個細分領域。現在,每一個消費品公司都在制作自己的超寫實數字人,如果他們的數字人已經由其他公司制作完成,但想跳最專業的的舞蹈動作,就可以采用踏歌提供的方案。”

圍繞舞蹈,李迪還希望踏歌可以為舞者們帶來持續的創作者收入。為此,踏歌開發了數字藏品小程式,将舞者的照片、動作視訊等制作成數字藏品,限量發行。同時,踏歌認為數字藏品平台在滿足監管要求下,應當進行更多業務創新。據悉,踏歌為某頭部舞者在短視訊平台走紅的舞蹈動作進行了動作捕捉,将産生的動作檔案作為廣告資産和遊戲資産通過踏歌數字藏品平台銷售給了廣告主和遊戲開發者,相關細節會在近期披露。

在元宇宙裡跳舞,舞蹈SaaS平台“踏歌”做了款舞蹈數字人

「踏歌」數字藏品小程式

李迪向36氪介紹,“踏歌做的事情,用一句話概括,就是做元宇宙領域的舞蹈與音樂的C端應用。短期内實作的路徑是通過SaaS平台連結舞室這樣的KA使用者,進而擷取舞室背後的C端使用者。未來,踏歌還會拓展純C端業務,打造面向C端的舞蹈線上遊戲平台,引入豐富的遊戲機制,讓玩家通過手機完成跟跳、pk、錄制,甚至參與線上迪廳,最終形成類似'全民K歌'的舞蹈線上社群。”

銷售拓展方面,踏歌通過與「SPY舞室」建立深度合作關系,連結到了全國數百家頭部舞室。SPY舞室是中國舞蹈家協會街舞委員會常務理事機關,具有示範效應。 據李迪介紹,線下舞蹈學習是一個高客單價的業務。一個二三線城市頭部舞室的典型畫像是擁有10~20家連鎖門店,年卡客單價4000~8000,年營收能達到3000-5000萬元左右。“舞室采用預付費方式,現金流很好。如果我們通過服務中大城市頭部舞室這樣的KA客戶,未來一年獲得10萬學員,每個學員平均貢獻200元,一年就有2000萬的收入。”

踏歌項目始于2020年,創始人李迪貢獻了踏歌的計算機視覺算法、姿态比對算法、SaaS平台、遊戲用戶端開發、超寫實數字人區塊鍊平台等技術早期大部分代碼。目前,踏歌APP1.0版本及踏歌數字藏品小程式已在種子使用者中内測,即将上線。

踏歌創始團隊來自騰訊、Facebook(Meta)、百度、平安科技、華納音樂、協和醫院,團隊員工中有很多專業舞者和頂尖音樂人。創始人李迪為北京郵電大學人工智能學院碩士,曾在位元組跳動、騰訊做過NLP和CV方面的算法和工程工作;CV算法負責人為中科院計算所計算機視覺方向碩士,平安科技智能視覺部門資深算法工程師,主要負責深耕計算機視覺方向;VR平台負責人為美國羅切斯特大學光學碩士原蘋果(矽谷)公司光學模組工程師,原Meta Oculus 工程師,曾負責過Oculus Quest等VR産品的光學零部件和模組的供應鍊端開發制造,負責踏歌項目的VR 硬體及線下跳舞機硬體方案整合;音樂方向産品負責人Lizzy為亞洲第一女DJ。

繼續閱讀