雷鋒網(公衆号：雷鋒網) AI 科技評論按：在未來的世界裡，機器人無需與我們産生交流，也能看透我們内心的小九九，這是否聽起來有點像是天方夜譚？近期，一支由查珀爾希爾大學（University of Chapel Hill）和馬裡蘭大學（University of Maryland）組成的研究團隊，正試圖讓這一切成為現實。
除了語言，機器還能如何讀懂人類的情緒？
情緒毫無疑問在生活中扮演着重要的角色，我們都是通過看别人「臉色」，進而決定下一步采取的應對行為。比如正在生氣的女朋友，以及心情大好的女朋友，交流使用的肯定不是同一套話術。反過來，很多時候我們也會被他人的情緒影響我們的行為。
是以，自動情緒識别技術是諸多領域的剛需，如遊戲娛樂、安保執法、購物、人機互動等。有了它，機器人将能更好地與人類産生交流。對于具備自然語言處理能力的機器人而言，它們可以通過文字/語言交流去推斷出使用者的情緒，因而問題不大；對于那些不具備相關能力的機器人來說，是否能夠通過非語言的方式，比如面部表情或動作姿态，去判斷人類當下的情緒狀态，依然是一個棘手的問題，目前學界有不少團隊正試圖為此找到理想方案。
在過去，研究更多集中在幫助機器解讀人類豐富表情的含義，然而近期的一些心理學文獻卻對此提出了質疑——很多種情況下，由于存在一些幹擾，人類面部表情不一定代表着對應的交際目的。與此同時，越來越多研究表明，人體行為在情緒傳遞方面同樣扮演者非常重要的角色，而人們在行走時的身體表情或者步态，已經被證明有助于感覺情緒。打個比方，當我們沮喪時，上半身會處于聳拉狀态，肢體活動速度變慢；當我們快樂時，肢體活動節奏會明顯變快，手臂的擺動次數變多。
一個解決方案
在這篇名為《Identifying Emotions from Walking Using Affective and Deep Features》的論文中，研究團隊提出了一種全新的自動情緒識别方法，可以将視訊中行走的人類進行歸類為快樂、悲傷、憤怒或中立 4 種情感類别。
簡單來說，他們先将這些成功提取出的步态轉換為三維形态，然後使用基于 LSTM 的方法對這些連貫性的 3D 人體姿勢進行長期依賴性模組化，以獲得深度特征。接着，他們提出了表示人類行走姿勢與運動的時空情感身體特征（spatio temporal affective body features），最後将兩者進行集合，并使用随機森林分類器（Random Forest Classifier）将成果歸類成上述提及的 4 種情感類别。
往細了講，即是先通過多個步态資料集提取出情感特征——這些情感特征建立在心理表征基礎上，當中包括了體态特征和動作特征。接着，通過訓練 LSTM 網絡進行深度特征提取，然後将深度特征與情感特征相結合，對随機森林分類器進行訓練。最後，隻要給出一個人行走的 RGB 視訊，該 3D 人體步态評估技術将會以 3D 形式對他/她的步态進行解析，進而提取出情感與深層特征，最後再用已經訓練好的随機森林分類器來識别出個體的情感狀态。
讀懂人類情緒的奧秘
要準确評估一個人的情感狀态，姿勢與運動特征都是必不可少的，其中就包括關節角度、擺動距離、擺動速度以及身體所占空間等特征，都可以被用于識别步态中傳遞的情感狀态。基于這些心理學發現，該團隊的工作便将姿勢與運動特征都包含了進來。
在姿勢特征方面，該團隊主要從這幾個方面進行了定義：
體積：身體的舒展一般傳達的是正面情緒；當一個人在表達負面情緒的時候，身體姿勢往往更緊湊。
面積：通過手和頸部之間以及腳和根關節之間的三角區域來模拟身體的擴張情況。
距離：腳和手之間的距離也可用于模拟身體的擴張情況。
角度：頭部傾斜情況，通過頸部不同關節延伸的角度來區分快樂和悲傷情緒。
此外，他們還将步幅作為姿勢的特征之一——長步幅表示憤怒和快樂；短步幅表示悲傷和中立。
在運動特征方面，他們則做出以下定義：
與低喚醒情緒相比，高喚醒情緒的運動明顯在頻次上會更密集。
快步态代表快樂或憤怒；慢步态代表悲傷。
最終實驗結果顯示，該團隊的方案相較其他分類方法，準确率更高，達到 80:07%；即便用于非動作資料集（non-acted data）上，準确率也高達 79:72%。
總結
總的來說，該團隊是第一個利用最先進的 3D 人體姿勢評估技術，提供能夠從步行視訊中實時識别出情感狀态的方法。值得一提的是，這個研究最終促成了一個視訊資料集 —— EWalk，内容都是些人們的行走視訊，被分别打上了對應的情感标簽。
目前該方法當然也不是盡善盡美的，比如：
算法主要還是取決于 3D 人體姿勢評估技術和步态提取算法的精度，換而言之，如果姿勢或步态存在噪聲，那麼相應的情緒預測就可能是不準确的。
該情感算法需要提取全身關節的位置，一旦視訊存在被遮擋的情況，就有可能無法獲得全身的姿勢資料。
行走動作必須是自然的，且不涉及任何配件（手提箱、手機……）
無論如何，這昭示着在機器讀懂人類情緒這條道路上，已經取得了關鍵一步。在未來的世界裡，機器人無需與我們産生交流，也能看透我們内心的小九九。是以，顫抖吧，人類！
via
https://arxiv.org/pdf/1906.11884.pdf雷鋒網 AI 科技評論雷鋒網