（映維網Nweon 2022年03月19日）對于好萊塢式的精确全身動捕技術，相關的設定成本相當高昂和繁雜。盡管負責Reality Labs事業群的準Meta首席技術官安德魯·博斯沃思（Andrew Bosworth）先前表示Quest 2目前的内向外追蹤無法支援全身動捕，而且未來更加難以實作，但這家公司依然在積極地進行探索，并希望能夠早日研發出用于消費者頭顯的全身動捕技術。
日前，美國專利商标局就公布了名為“Systems and methods for predicting elbow joint poses”和“Systems and methods for predicting lower body poses”的Meta專利申請。其中，兩份發明的原理一樣，都是利用機器學習模型和反向運動學來預測關節并推斷全身姿勢。
由于關節肌肉在人體運動期間存在一定的關聯對應性，是以系統可以根據反向運動學骨骼模型，通過對一個關節姿勢的确實來預測推斷其他關節，然後再整合成一個完整的身體姿勢。
簡單來說，對于肘關節姿勢預測，裝置可以确定頭部姿勢并通過攝像頭捕獲前臂/手腕圖像，然後由經過訓練的機器學習模型根據所述資訊及前臂/手腕和肘部的肌肉關節對應關系來預測推斷肘關節的姿勢。
對于全身姿勢預測，可以首先通過前述方式并根據頭部和前臂/手腕捕獲圖像預測推斷整合上半身姿勢，然後經過訓練的機器學習模型可以根據上半身姿勢來預測推斷整個下半身姿勢。最後，系統整合上半身和下半身的姿勢。
圖2是與使用者102相關聯的示例身體姿勢。其中，計算系統108可以生成與使用者102相關聯的身體姿勢200。身體姿勢200包括反向運動學的骨骼幀，後者可包括一個或多個關節的清單。在特定實施例中，身體姿勢包括與使用者102相關聯的一個或多個關節的關節姿勢，例如但不限于頭部姿勢210、手腕姿勢220、肘部姿勢220、肩部姿勢240、頸部姿勢250、上部脊椎姿勢260、下部脊椎姿勢270、臀部姿勢280、膝蓋姿勢290或腳踝姿勢295。
1. 肘關節及上半身姿勢
圖3A是頭顯攝像頭在其有限視場内捕獲的手臂圖像。其中，102為使用者左臂，106為左臂握持的控制器。
在圖3B中，系統可以利用諸如Mask R-CNN等技術來生成分割掩模并劃分多個區域。分割掩模可以表示為二維矩陣，每個矩陣元素對應于輸入圖像中的像素。
在一個實施例中，系統可以利用非線性運動學優化解算器來推斷一個或多個關節姿勢。例如，非線性解算器可利用骨架解算器功能來推斷反向運動學的單個幀（單個身體姿勢）。
在特定實施例中，非線性解算器可使用參數和預定靜态權重來推斷身體姿勢200，其推斷使用者102的關節在特定時間或狀态的最可能姿勢。推斷的身體姿勢可以包括使用者102的一個或多個關節的姿勢，例如肘關節230。
在特定實施例中，圖像資料和分割掩模可用于評估非線性解算器推斷的一個或多個中間關節姿勢的準确性，并随後更新非線性解算器以在後續疊代中更準确地預測一個或多個關節姿勢。例如，非線性解算器可以接收一個或多個輸入并推斷一個或多個關節的中間姿勢，例如肘關節姿勢。
利用前述的原理，系統可以根據頭部姿勢和前臂/手腕圖像資訊來肘關節姿勢并推斷整合上半身姿勢。
2. 下半身半身姿勢
正如前面所言，人體關節肌肉之間存在一定的關聯對應性，是以在通過上述方式推斷整合出上半身姿勢後，經過訓練的機器學習模型可以進一步根據上半身和下半身的關聯對應性，以推斷整合出的上半身姿勢作為輸入，然後推斷包含雙腿的下半身姿勢。最後，系統可以整合上半身姿勢和下半身姿勢。
如圖3所示，在特定實施例中，可以通過使用經過訓練的機器學習模型來處理上半身姿勢205，并根據對應關系來生成下半身姿勢215。圖3示出了利用輸入的上身姿勢生成下身姿勢。具體而言，經過訓練的機器學習模型300可以基于生成性對抗網絡（GAN）并利用上半身姿勢205來生成下半身姿勢215。然後，計算系統可以将生成的上半身姿勢205與生成的下半身姿勢215相結合。
圖4示出了用于訓練生成對抗網絡（GAN）400進行姿勢預測的配置。GAN可以包括兩個獨立的神經網絡，一個Generator405（“G”）和一個Discriminator 410（“D”）。在特定實施例中，Generator405和Discriminator410可以實作為神經網絡。
Generator405可配置為接收生成的上身姿勢205作為輸入，并輸出生成的下身姿勢215。在特定實施例中，上半身姿勢205可與下半身姿勢215組合以生成全身姿勢425。在特定實施例中，Discriminator410可以配置為在區分由Generator405推斷生成的“假”全身姿勢425和來自訓練姿勢資料庫440的“真”訓練姿勢435。在特定實施例中，一個或多個訓練全身姿勢435可包括來自一個或多個圖像的全身姿勢。
Generator405和Discriminator410可以視為對手，因為Generator405的目标是生成可以欺騙Discriminator410的假姿勢（換句話說，增加Discriminator410的錯誤率），而Discriminator410的目标是正确區分“假”姿勢與“真”姿勢。
通過經過訓練的GAN，系統可以利用上半身姿勢來推斷下半身姿勢。
相關專利：Facebook Patent | Systems and methods for predicting elbow joint poses
相關專利：Facebook Patent | Systems and methods for predicting lower body poses
名為“Systems and methods for predicting elbow joint poses”和“Systems and methods for predicting lower body poses”的Meta專利申請都是在2020年9月送出，并在日前由美國專利商标局公布。需要注意的是，這隻是一份專利申請，不确定具體的效果，尤其是因為這是一種推斷預測方法。