世界快資訊丨元宇宙的數(shù)字化身

（CWW）在元宇宙概念推動(dòng)下，虛擬數(shù)字人市場(chǎng)迅速升溫。從虛擬歌手洛天依，到數(shù)字虛擬偶像柳夜熙，再到虛擬偶像組合A-SOUL，各種虛擬數(shù)字人頻繁出現(xiàn)在公眾視野。什么是虛擬數(shù)字人？虛擬數(shù)字人有什么能力？應(yīng)用場(chǎng)景有哪些？

【資料圖】

元宇宙數(shù)字化身——虛擬數(shù)字人

2021年被稱為元宇宙元年，隨著Facebook更名為Meta，正式轉(zhuǎn)型為元宇宙公司，元宇宙已經(jīng)徹底出圈，成為人們茶余飯后的談?wù)摕狳c(diǎn)。那元宇宙是什么呢？《頭號(hào)玩家》就是對(duì)元宇宙概念的終極想象。在元宇宙的宏大構(gòu)想中，每個(gè)人都能在虛擬世界中擁有自己的專屬身份，成為個(gè)人在元宇宙中的數(shù)字化身，而虛擬數(shù)字人技術(shù)有助于打造真實(shí)的數(shù)字形象，使元宇宙中各種類型的沉浸式互動(dòng)體驗(yàn)成為可能。

圖1 元宇宙沉浸體驗(yàn)

虛擬數(shù)字人是通過聚合多種技術(shù)手段，創(chuàng)造出具有數(shù)字化外形的虛擬人物。它具有三個(gè)特點(diǎn)：①虛擬：存在于非物理世界；②數(shù)字：依托于多種數(shù)字技術(shù)的綜合產(chǎn)物；③人：在外觀、行為以及交互等方面具有高度擬人化。

虛擬數(shù)字人成功地打開了人類進(jìn)入虛擬世界的通道，是與元宇宙連接和互動(dòng)的重要媒介，通過對(duì)數(shù)字形象的專屬化設(shè)定，并憑借其完美與多元場(chǎng)景結(jié)合的能力，能夠?qū)崿F(xiàn)從現(xiàn)實(shí)社會(huì)到虛擬世界的有效投射，使每個(gè)用戶都能感受極具沉浸性和互動(dòng)性的體驗(yàn)，最終形成數(shù)字社會(huì)的生態(tài)化反映。

2022年作為元宇宙發(fā)展的黃金時(shí)代的開端，各大廠商針對(duì)虛擬數(shù)字人產(chǎn)業(yè)的精準(zhǔn)布局，是推動(dòng)元宇宙進(jìn)一步發(fā)展的重要利器，這也預(yù)示著虛擬數(shù)字人技術(shù)已經(jīng)逐步成為元宇宙不斷完善和突破的著力點(diǎn)。

虛擬數(shù)字人通用系統(tǒng)框架

虛擬數(shù)字人通用系統(tǒng)框架包含五個(gè)部分：人物形象、語(yǔ)音生成模塊、動(dòng)畫生成模塊、音視頻合成顯示模塊以及可拓展的交互模塊。根據(jù)數(shù)字人外形風(fēng)格的差異可以將人物形象劃分為卡通、寫實(shí)等，這是數(shù)字人的基礎(chǔ)載體，語(yǔ)音和動(dòng)畫生成的主體，展現(xiàn)為數(shù)字人3D模型。其中交互模塊為可拓展項(xiàng)，若具備該模塊，則數(shù)字人能夠智能識(shí)別用戶意圖，進(jìn)而通過智能決策系統(tǒng)對(duì)數(shù)字人后續(xù)的語(yǔ)音與動(dòng)作進(jìn)行指導(dǎo)，從而使數(shù)字人具備交互能力。

圖2 虛擬數(shù)字人通用系統(tǒng)框架

驅(qū)動(dòng)能力——讓虛擬數(shù)字人動(dòng)起來

虛擬數(shù)字人是如何做到與真人一樣動(dòng)起來的呢？首先簡(jiǎn)單了解一下虛擬數(shù)字人制作的關(guān)鍵流程：首先需要建立并綁定虛擬數(shù)字人的標(biāo)準(zhǔn)三維人物模型；然后利用驅(qū)動(dòng)技術(shù)對(duì)標(biāo)準(zhǔn)三維模型的語(yǔ)音表達(dá)、面部表情、身體動(dòng)作等進(jìn)行合成；最后通過渲染形成最終效果。

因此，通過驅(qū)動(dòng)技術(shù)能夠生成虛擬數(shù)字人的擬人化行為，使虛擬數(shù)字人生動(dòng)地動(dòng)起來。按照驅(qū)動(dòng)技術(shù)的差異可以將其分為計(jì)算驅(qū)動(dòng)型和真人驅(qū)動(dòng)型[1]。

? 計(jì)算驅(qū)動(dòng)型

也被稱為TTSA（Text To Speech & Animation）人物模型：主要通過深度學(xué)習(xí)技術(shù)、卷積神經(jīng)網(wǎng)絡(luò)等新型計(jì)算能力對(duì)虛擬數(shù)字人的語(yǔ)音、表情及動(dòng)作等進(jìn)行預(yù)測(cè)，根據(jù)計(jì)算結(jié)果驅(qū)動(dòng)數(shù)字人模型，以生成相應(yīng)的動(dòng)畫。由于虛擬數(shù)字人天生需要具有高度擬人化的特征，除了外觀要求高度擬人化以外，在行為互動(dòng)上也需要具備高度擬人化，具體來說包括：①在發(fā)音流暢度、韻律以及情感等方面需要符合真人發(fā)聲習(xí)慣，②能準(zhǔn)確識(shí)別用戶需求，③能正確高效地理解用戶的需求。因此，其驅(qū)動(dòng)最終效果受到語(yǔ)音合成、語(yǔ)音識(shí)別以及自然語(yǔ)言處理等多種技術(shù)的共同影響。

計(jì)算驅(qū)動(dòng)型數(shù)字人技術(shù)流程如下：設(shè)計(jì)形象—>建模及綁定—>訓(xùn)練驅(qū)動(dòng)模型—>內(nèi)容制作—>渲染生成

1. 形象設(shè)計(jì)：每個(gè)數(shù)字人都是獨(dú)特的數(shù)字形象，而非千篇一律的模板。通常利用多方位攝像頭對(duì)特定模特進(jìn)行掃描，并采集其說話、動(dòng)作時(shí)的唇部、表情、肌肉變化、姿態(tài)等數(shù)據(jù)，用于模型的特質(zhì)化訓(xùn)練。

2. 形象建模及綁定：建立虛擬數(shù)字人的三維模型，并根據(jù)不同驅(qū)動(dòng)標(biāo)準(zhǔn)分別對(duì)各部分進(jìn)行綁定，后續(xù)可以通過相應(yīng)的規(guī)則對(duì)各部分進(jìn)行驅(qū)動(dòng)。

3. 訓(xùn)練驅(qū)動(dòng)模型：利用深度學(xué)習(xí)技術(shù)對(duì)采集的模特動(dòng)作數(shù)據(jù)進(jìn)行訓(xùn)練，建立語(yǔ)音、唇形、表情、動(dòng)作參數(shù)間的映射關(guān)系，形成各自的驅(qū)動(dòng)模型與驅(qū)動(dòng)方式。驅(qū)動(dòng)模型的性能直接影響數(shù)字人的驅(qū)動(dòng)效果，因此訓(xùn)練驅(qū)動(dòng)模型是整個(gè)計(jì)算驅(qū)動(dòng)型數(shù)字人的核心部分。

4. 內(nèi)容制作：基于輸入的語(yǔ)音或文本形態(tài)信息，通過訓(xùn)練好的驅(qū)動(dòng)模型輸出對(duì)應(yīng)的各類映射參數(shù)，利用映射參數(shù)驅(qū)動(dòng)虛擬數(shù)字人響應(yīng)相應(yīng)的動(dòng)作，實(shí)現(xiàn)智能驅(qū)動(dòng)的效果。

5. 渲染生成：在特定場(chǎng)景下進(jìn)行渲染，生成具有真實(shí)感的三維場(chǎng)景效果。

數(shù)字人計(jì)算驅(qū)動(dòng)方式具有多樣化的特點(diǎn)，例如根據(jù)語(yǔ)音驅(qū)動(dòng)口型的算法所使用模型的差異，可以將其分為兩種類型：①Audio2Mesh：通過語(yǔ)音直接預(yù)測(cè)三維模型網(wǎng)格序列信息，直接形成數(shù)字人動(dòng)畫，代表算法有英偉達(dá)的Audio2Face項(xiàng)目，目前已應(yīng)用于英偉達(dá)虛擬協(xié)作模擬平臺(tái)Omniverse的Audio2Face應(yīng)用程序中。②Audio2ExpressionCoefficient：利用語(yǔ)音預(yù)測(cè)能夠控制網(wǎng)格變化的相關(guān)參數(shù)序列，通過該參數(shù)可以恢復(fù)網(wǎng)格模型序列，從而生成數(shù)字人動(dòng)畫，代表算法有Facegood的Audio2Face項(xiàng)目，這是國(guó)內(nèi)首個(gè)開源語(yǔ)音驅(qū)動(dòng)口型的算法技術(shù)。

? 真人驅(qū)動(dòng)型

主要是通過真人演員（二次元世界中也稱為中之人）驅(qū)動(dòng)數(shù)字人，在這種模式下虛擬數(shù)字人的語(yǔ)言、表情及動(dòng)作等展現(xiàn)都與中之人的表現(xiàn)所對(duì)應(yīng)，中之人通過佩戴面部捕捉、動(dòng)作捕捉等設(shè)備實(shí)時(shí)獲取面部、動(dòng)作參數(shù)，并傳遞給對(duì)應(yīng)的數(shù)字人進(jìn)行相對(duì)應(yīng)的口型、表情與動(dòng)作驅(qū)動(dòng)。由于真人驅(qū)動(dòng)型數(shù)字人是通過真人傳遞操作，因此在動(dòng)作靈活度和互動(dòng)效果等方面有著明顯的優(yōu)勢(shì)，被廣泛應(yīng)用于影視內(nèi)容創(chuàng)作以及互動(dòng)直播等領(lǐng)域。

真人驅(qū)動(dòng)型數(shù)字人技術(shù)流程如下：形象設(shè)計(jì)—>建模及綁定—>表情動(dòng)作捕捉—>實(shí)時(shí)驅(qū)動(dòng)—>渲染生成

圖3 真人驅(qū)動(dòng)的虛擬數(shù)字人

虛擬數(shù)字人的應(yīng)用場(chǎng)景

根據(jù)虛擬數(shù)字人應(yīng)用需求的不同，目前可以將業(yè)內(nèi)虛擬數(shù)字人大致劃分為服務(wù)型虛擬數(shù)字人和身份型虛擬數(shù)字人兩類[2]。

服務(wù)型

顧名思義，服務(wù)型虛擬數(shù)字人的能力重點(diǎn)在于服務(wù)，根據(jù)應(yīng)用場(chǎng)景的不同提供具有差異化的定制化服務(wù)，主要用于代替服務(wù)行業(yè)中具有重復(fù)屬性的社會(huì)角色，執(zhí)行偏標(biāo)準(zhǔn)化的工作，例如數(shù)字員工、虛擬客服、定制管家、醫(yī)療顧問等。目前國(guó)內(nèi)的服務(wù)型虛擬數(shù)字人主要用于代替真人進(jìn)行內(nèi)容生產(chǎn)，并進(jìn)行簡(jiǎn)單問答交互等。未來發(fā)展趨勢(shì)是打造更具關(guān)懷度的助手等，利用多模態(tài)技術(shù)對(duì)用戶進(jìn)行關(guān)心、陪伴等。

由央視網(wǎng)和百度攜手打造的央視網(wǎng)虛擬小編小C是服務(wù)型虛擬數(shù)字人的成功典范。2021年全國(guó)兩會(huì)期間，小C首次亮相于央視網(wǎng)特別策劃“兩會(huì)C+真探”系列直播節(jié)目，并成為其當(dāng)家主持。憑借其甜美親切的形象、自然流暢的談吐以及生動(dòng)逼真的表情動(dòng)作迅速得到網(wǎng)友的認(rèn)可，并在全國(guó)兩會(huì)期間采訪了多名全國(guó)人大代表，專業(yè)能力毋容置疑。數(shù)字小編小C俏皮可愛的展現(xiàn)形式悄然拉近了兩會(huì)與普通觀眾之間的距離，同時(shí)在新興技術(shù)能力的加持之下致使傳統(tǒng)媒體煥發(fā)出新的生命力，大大提升了在年輕受眾群體中的影響力。

身份型

身份型虛擬數(shù)字人則更傾向于打造全新虛擬IP形象，即強(qiáng)調(diào)其自身身份，關(guān)注其人設(shè)背景等方面，通常應(yīng)用于文娛游戲等領(lǐng)域，例如虛擬偶像、數(shù)字人直播、虛擬分身等。身份型虛擬數(shù)字人強(qiáng)調(diào)自身身份，通常存在兩種形式：一種是以獨(dú)立的虛擬個(gè)體存在的虛擬IP，其在現(xiàn)實(shí)世界中不對(duì)應(yīng)任何真人，外貌、人設(shè)、愛好、背景等都由人為主觀設(shè)定；另一種是虛擬世界的數(shù)字分身，主要是為每個(gè)人創(chuàng)造專屬的數(shù)字分身，滿足個(gè)人在虛擬世界中獨(dú)特的身份需求。

抖音大紅人柳夜熙就是身份型數(shù)字人的現(xiàn)象級(jí)代表，作為一名會(huì)捉妖的虛擬美妝達(dá)人，她利用神奇的化妝筆為影片中的小男孩打開了虛擬世界的大門，文案“現(xiàn)在，我看到的世界，你也能看到了?！币差A(yù)示著這一位神秘的美妝達(dá)人來自不同的世界，卻能以虛擬人之身與真人進(jìn)行互動(dòng)，并共享互相眼中的世界，從而實(shí)現(xiàn)真實(shí)與虛擬的交織融合，這難道不正是元宇宙所暢想的終極世界嗎？

結(jié)語(yǔ)

虛擬數(shù)字人正處于飛速發(fā)展階段，融合了計(jì)算機(jī)圖形學(xué)、圖形渲染、動(dòng)作捕捉等數(shù)字技術(shù)，同時(shí)擁有計(jì)算機(jī)視覺、自然語(yǔ)言處理、智能語(yǔ)音等深度學(xué)習(xí)技術(shù)的加持，虛擬數(shù)字人的前景令人無比欣喜。但目前由于智能驅(qū)動(dòng)技術(shù)等方面的技術(shù)限制，還未能實(shí)現(xiàn)理想中生動(dòng)的虛擬數(shù)字人目標(biāo)，仍需廣大虛擬數(shù)字人從業(yè)者、人工智能研究者等多領(lǐng)域工作者共同努力。

關(guān)鍵詞： 虛擬數(shù)字人 智能語(yǔ)音 數(shù)字分身