咪咕數(shù)智達(dá)人Meet Gu陪你看冬奧

（CWW）2022年北京冬奧會期間，咪咕公司將中國移動5G冰雪推廣大使谷愛凌的數(shù)智分身Meet Gu通過一系列的創(chuàng)新技術(shù)加持再次帶到觀眾眼前，與廣大冰雪愛好者實現(xiàn)了更加沉浸的虛實互動。

Meet Gu基于咪咕自研的表情遷移、人臉重建、語音合成、光照一致性虛實合成、數(shù)字分身人臉擬合以及云渲染等技術(shù)，不僅通過3D人臉關(guān)鍵點位置精確修正、眼眶眼球自動適配、任意姿態(tài)人臉配準(zhǔn)等核心技術(shù)，讓3D人臉擬合精度達(dá)亞毫米量級，從而完美復(fù)刻真人，更是實現(xiàn)了全自動化表情與動作的個性化遷移，做到與真人表情“神同步”。通過視頻彩鈴等應(yīng)用，“數(shù)智達(dá)人”能實現(xiàn)與用戶的隔空互動，帶來沉浸式實時互動體驗。

在虛擬人動作制作中，為了完美地呈現(xiàn)出運動員的挺拔氣質(zhì)，咪咕研發(fā)團隊精益求精多次修改了骨骼控制點，僅一只手就復(fù)刻了近百個骨骼控制點，全身骨骼控制點多達(dá)近七百個，從而得到最佳效果。在表情上，研發(fā)團隊參考了100多張不同時期不同角度的照片，畫了20多稿貼圖，渲染了10多遍效果圖，制作出的真實又相似度超高的渲染圖，為了追求真實復(fù)刻，頭發(fā)的發(fā)絲數(shù)更是從5萬根增加到10萬根。同時，配合自研的虛擬燈光效果，從燈光方向、燈光亮度以及柔和度進行調(diào)節(jié)，達(dá)到MeetGu渲染的最佳視覺效果。為了能夠更好地對谷愛凌的音色進行建模，咪咕研發(fā)團隊通過語音信號增強技術(shù)、音色建模技術(shù)進行復(fù)刻及數(shù)字化，采用自研的語音聲學(xué)模型及聲碼器合成語音，克服了可利用數(shù)據(jù)少、模型訓(xùn)練困難等問題，最終得到了具有真實感的谷愛凌音色模型，實現(xiàn)對谷愛凌原聲的復(fù)刻。相關(guān)成果應(yīng)用于咪咕冬奧賽事演播室、北京交通廣播冬奧《榮耀時刻》節(jié)目等場景。

為實現(xiàn)Meet Gu在冬奧會期間與贊助商的互動。研發(fā)團隊為Meet Gu制作了一套冬奧會全身頒獎服, 該形象目前已在冬奧演播室成功亮相。在制作超寫實頒獎服資產(chǎn)上，咪咕研發(fā)團隊根據(jù)贊助商提供的實拍圖片，從整體視覺造型、人體貼合度、寬松率、視覺比例等方面1:1還原了冬奧會頒獎虛擬服裝。

未來，中國移動咪咕公司將持續(xù)推進“數(shù)智達(dá)人計劃”，這些體育數(shù)智達(dá)人將不斷走進全球頂級賽事演播室，參與賽事解說、播報及電商場景虛實互動等，加速元宇宙與體育產(chǎn)業(yè)的融合，實現(xiàn)從前沿技術(shù)研究到應(yīng)用示范的真正破圈。

關(guān)鍵詞： MeetGu