關于 AI 在課堂上所能完成的監控工作，很多人已經習以為常。
「一位教授在授課結束後檢視他的電腦。借助一款軟體，他能看到這一整堂課中學生的情緒變化。在上課 30 分鐘之後，大部分學生已經失去興趣并開始走神，這也大概是他講跑題的那個時間點。是以教授做了個記錄，提醒自己以後不要跑題。」
現實中的課堂大多還不是這個樣子，但随着技術的發展，這樣的情景會越來越普遍。
近日，一篇有關課堂監控技術的論文刊登在《IEEE Transactions on Visualization and Computer Graphics》上。在論文中，來自香港科技大學、哈爾濱工程大學等機構的研究者提出了一種名為 EmotionCues 的系統。該系統主要關注如何記錄學生面部表情，并據此來分析學生在課堂上的情緒變化、注意力集中程度。
作者之一、香港科技大學計算機教授屈華民介紹說，這個系統「為教師提供了一種更快速、更友善去衡量學生在課堂上參與度的方法。」
這項研究的初衷是「善意」的：依靠該系統去監控學生在課堂上的情緒回報，判斷學生在什麼時候開始感到無聊，什麼時候注意力更加集中，以此來提醒老師該如何改善課堂内容、提高授課品質。
研究團隊在兩間教室裡對提出的系統進行了測試，一間教室是香港科技大學的學生，代表高校學生群體；另一間教室是日本某所幼稚園，代表低齡學生群體。
測試發現，這套視覺分析系統在檢測那些「明顯情緒」方面效果比較好，比如學習興趣較為強烈時的愉悅感。但系統對于「憤怒」或者「悲傷」等表情的解讀能力還是有所欠缺。學生們可能隻是單純地專注于課堂内容本身，僅僅因為深入思考而皺了一下眉頭，卻容易被系統解讀為「憤怒」。
系統的工作流程
下圖 2 展示了整個系統的工作流程，包括資料處理和視覺探索兩大階段。
圖2。
資料處理過程
第一階段是處理一系列原始資料并利用計算機視覺算法提取出情感資訊，包括面部檢測、面部識别、情感識别、特征抽取等步驟。
在面部檢測步驟中，研究者采用 MTCNN（多任務級聯卷積網絡，一種用于預測面部和 Landmark 位置的深度卷積網絡）去檢測每個樣本幀中的人臉。
在面部識别階段，面部對比的通常方法是對圖像進行矢量化操作。研究者采用了 facenet（一種在面部識别中較為完善的深度學習模型），它可以直接學習從面部圖像到緊緻歐式空間的映射。
在情感識别階段，研究者出于直覺和可了解方面的考慮，選擇使用了分類模型。他們微調了一個 CNN 模型（ResNet-50），采用了 FER 2013 資料集。這一資料集一直廣泛用于面部表情識别。
考慮到情緒識别可能沒那麼準确，研究者挑出了一些影響因素（如人臉大小、遮擋情況、圖像分辨率、照明情況等），并在系統中對它們進行了視覺編碼，以此判斷學生們的情感狀況。
這些影響因素可能在系統情緒分析中起到了比較關鍵的作用。比如離攝像頭比較遠的人，他的臉部在視訊中占據的面積比較小，就更容易被錯誤識别。除此之外，一個人的臉如果經常被他人遮擋，也會有更高的系統誤判風險。研究者将這些因素整合到了系統分析流程之中，提供了更加豐富的互動功能來改進系統性能。
互動式的視覺系統
第二階段是根據五大要求（細節見論文）設計一個互動式的視覺系統，該系統可以支援兩種粒度的課堂視訊視覺分析，包括學生的總體情感演變和某個學生單獨的情感演變過程。
研究者基于 Vue.js 前端架構和 Flask 後端架構實作了一個基于 web 的系統，如下圖 3 所示。該系統包括三大視圖：摘要視圖（summary view，圖 3a-b）；人物視圖（character view，圖 3c）和視訊視圖（video view，Fig. 3d）。
圖3。
為老師提供學生情感變化的總體情況非常重要，是以研究者設計了一個摘要視圖，讓老師看到學生情感的靜态和動态演變資料。圖 3（a）顯示的是學生的情感檔案，用于展示學生的情感分布（靜态摘要）；圖 3（b）顯示的是學生的情感變化曲線（動态摘要）。
人物視圖通過肖像類标志符号，将所標明目标人物的情緒狀态可視化地表現出來。不同情感肖像之間的差異使得使用者能夠識别和比較不同人物的特征。如下圖 5 所示，研究者在設計中采用了定制化的餅狀圖：
圖 5：情感變化的可視化圖示。
通過這種定制化的餅狀圖設計，使用者可以很容易地觀察到詳細的情感資訊以及對其感興趣的影響因素。同時，螢幕快照功能使得不同人之間的情感資訊比較變得更加容易。如果使用者希望檢視詳細資訊，可以單擊感興趣的快照進行檢視。快照的示例位于人物視圖（圖 3c）的左側。
在系統中，研究者提供了原始視訊以供使用者在視訊視圖（圖 3d）中浏覽。同時，使用者可以用不同速度播放視訊，當使用者将視訊暫停時，每一幀中對應的面部都會被高亮顯示。使用者還可以根據自己對情感流的觀察挑選出感興趣的部分進行進一步的探索和挖掘。
「改善」教學，還是「監控」教學？
這項研究的初衷是幫助授課者收集學生回報、提升教學品質。但事實真能如其所願嗎？
相比于依據視訊記錄去分析情緒，在國内的課堂中，還有更誇張的「智能頭環」。
在浙江金華某國小的課堂之上，每一個座位上的學生都戴着一個狀如「金箍」的黑色頭環，專注時亮紅燈，走神時亮藍燈，這個注意力分數每 10 分鐘發送一次到授課教師的電腦，并同步到家長微信群中，讓身在校外的家長随時掌握孩子的上課狀态。
但這種頭環，或者此類課堂監控技術，面對着非常多的質疑。比如倫理問題：它暴露了學生在課堂中的個人情緒，讓教師能夠知道誰在課堂上專注或不專注。這涉及到學生的隐私問題。
另外，在一節 40 分鐘的課程中，學生的注意力本就不可能保持全程專注，持續性監控學生的注意力并對任何注意力不專注的行為進行校正沒有意義。
還有一方面，這種監控系統可能會分散教師和學生的注意力，因為身在其中的人會覺得有一雙眼睛「無時無刻不在盯着自己」。如果是頭戴金箍，這種情緒會變得更加明顯。這種被實時監控的感覺會在一定程度上會影響課堂參與者自由發表意見。
參考連結：
https://spectrum.ieee.org/the-human-os/biomedical/devices/ai-tracks-emotions-in-the-classroom https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8948010