當前位置:首頁 > 新聞中心 > 科研動態

科研動態

搜狗彩票提出基于真實環境的面部表情分析方法

  • 发表日期:2019-05-14 【 【打印】【關閉】
  •   随着人工智能的发展,构建更加自然的人机交互系统(human machine interaction (HMI) systems)跃升为一大研究热点。受心理学的启发,Prendinger、Martinovski和Traum等研究者指出,关注对话主体或对话系统中的情感信息可以有效提升对话满意度,同时减少对话系统出现崩溃的情况。 

      因此,作爲人機交互領域的重要研究方向,情感識別吸引了越來越多的目光,而面部表情識別因具有很大的應用價值,更是備受矚目。例如,不同用戶每天都會上傳大量圖像,這些圖像中所呈現的情感狀態對于完善推薦系統非常有用,可決定是否向用戶推薦相關産品信息。爲了自動識別面部圖像的情感狀態,面部表情識別技術是關鍵。 

      過去識別面部表情包含多個步驟,需借助手工提取的面部特征,分類器和融合方法。通常,面部特征可以分爲兩部分:外觀特征和幾何特征。外觀特征研究廣泛,包含了方向梯度直方圖、局部二值模式、局部相位量化以及尺度不變特征變換。幾何特征考慮了頭部姿勢與人臉關鍵點坐標。 

       

      圖片來自論文 

      然而,多步預測方法中各步的目標不一致,同時學界對于情感識別中提取特征的標准也沒有達成一致。爲了正確應對這些問題,端到端方法取代了多步法,並成爲解決諸如圖像分類、機器翻譯、場景分類、圖片標題生成以及語音合成等衆多問題時所能采取的最先進的方法。在端對端面部表情識別系統中,將標准大小的原始圖片作爲輸入的數據,情感標簽作爲輸出的結果。端對端圖像分類器,包括AlexNet、VGG、GoogLeNet、ResNet、DenseNet以及模型的其他變化形式,在經過訓練後,能根據輸入圖片得出對應的情感預測結果。 

      盡管研究者們在提升面部表情識別的性能方面做出了很大努力,但當前研究仍然面臨諸多挑戰。現實生活中,研究者很難得到不受其他物體遮擋的面部圖像。此外,人們的面部也並非時刻保持正向,光照並非時刻達到最佳。因此,在表情識別任務中,獲取沒有任何幹擾的正面人臉成爲一大難題。 

      鑒于前人相關研究存在很多局限性,陶建華研究組集中討論了真實場景中,由不同區域人臉數據生成的情感預測結果的真實性。例如,當只能獲取嘴部區域數據時,表情分類器的預測結果爲"快樂",但我們如何計算預測結果的可信值呢?這一問題可以轉換成:有多少關于"快樂"的信息可以通過嘴部表達出來? 

      該研究將整個面部劃分爲六個子區域:鼻部、嘴部、眼部、鼻子至嘴之間、鼻子至眼睛之間,以及嘴巴至眼睛之間。此外,研究者還分析了在現實場景中,不同面部區域對表達不同表情所起到的作用。借助CAM技术,进行情感识别时,面部相关区域得以视觉化。为取得更有说服力的结果,实验分别在三个不同数据库中开展:FER+、RAF-DB 以及ExpW数据集。 

      本研究與Busso的研究有相似之處,他把人臉分爲前額、眉毛、眼睛下部、右臉頰、左臉頰五個部分,而後每個區域均由單獨的分類器進行表情分類。但是他的實驗在可控制條件的實驗室環境中進行,而本研究的實驗均在真實場景中開展,同時,還將面部劃分爲更小的區域,評價方法也更多樣。 

      該研究成果可以與心理學相結合,對于研究人的行爲具有重要作用,而且還可拓展至情感表達的理解當中。 

      論文信息: 

      Expression Analysis Based on Face Regions in Read-world Conditions