國際AI頂會CVPR季軍！天翼云AI團隊在情感識別任務中實現(xiàn)新突破|今日關注

(資料圖)

近日，國際人工智能頂會CVPR2023舉辦的第5屆自然場景情感行為分析挑戰(zhàn)賽（5th Workshop and Competition on Affective Behavior Analysis in-the-wild，簡稱ABAW）公布比賽結(jié)果，天翼云AI團隊（CtyunAI）在情感分類任務中表現(xiàn)出色，憑借極高的性能指標榮獲本屆大賽季軍。

據(jù)了解，CVPR會議是由IEEE主辦的關于計算機視覺和模式識別的國際學術會議，收錄了該領域最新的研究成果和技術發(fā)展，是全球計算機視覺三大頂級會議之一。

ABAW競賽是由國際頂級計算機視覺研究者和科學家們共同發(fā)起的競賽，致力于解決自然情境下計算機對人的情感行為進行分析的問題，并以此提升人機交互系統(tǒng)的場景應用能力，目標是創(chuàng)造出能夠理解人的感覺、情緒和行為的機器和機器人，從而讓機器能夠以“以人為本” 的方式與人類互動，并有效地作為人類的數(shù)字助手。

比賽共吸引了來自世界各地的100多支團隊參加，其中不乏業(yè)內(nèi)知名的機構(gòu)和公司，如網(wǎng)易、思圖等。參賽隊伍需要對來源于現(xiàn)實場景的594個視頻共300萬幀圖像進行分析，通過視頻中的圖像、人物、聲音來預測指定人物在連續(xù)時間下的情感。

相較上屆競賽，本屆競賽的數(shù)據(jù)標簽極度不平衡且標簽噪聲多，給參賽隊伍帶來了一定挑戰(zhàn)。由于現(xiàn)實世界的環(huán)境不受條件控制，所以競賽所使用的視頻數(shù)據(jù)相較往屆呈現(xiàn)更加多樣的視頻錄制條件、背景和顯示方式。同時，為了考驗算法對不同拍攝環(huán)境、不同人群等情況的適應能力（遷移學習能力），競賽數(shù)據(jù)的樣本分布極不均衡，也增加了競賽難度。

天翼云AI團隊在本次競賽中使用了多模態(tài)融合技術，通過不同模型同時提取視頻的圖像和音頻特征，將這些特征進行融合后利用時域卷積網(wǎng)絡（Temporal Convolutional Network，TCN）和Transformer對數(shù)據(jù)在時間維度上進行建模，從而使模型能夠通過視頻的上下文對結(jié)果進行預測，大大提升了模型的任務表現(xiàn)。在情感識別任務中，該模型針對人類的六個基本情感（快樂、厭惡、悲傷、憤怒、驚奇、恐懼），以及中立情感進行識別，實現(xiàn)了F1-score超過0.35的好成績。

本次天翼云AI團隊能夠在競爭激烈的ABAW競賽中取得優(yōu)異成績，得益于天翼云多年來在圖像、音頻及多模態(tài)領域的深厚積累和不斷創(chuàng)新。通過在更廣闊的人工智能領域中繼續(xù)研究和探索，天翼云致力于以更先進的技術和更優(yōu)秀的成果回報社會和用戶，將有助于推動千行百業(yè)共享數(shù)字化發(fā)展成果。

關鍵詞：