浪潮劉軍:元宇宙是數(shù)實(shí)融合的數(shù)字載體 需要強(qiáng)大算力基礎(chǔ)設(shè)施

發(fā)布時(shí)間:2022-04-08 16:36:24  |  來(lái)源:光明網(wǎng)  

(CWW)近日,浪潮信息副總裁、AI&HPC產(chǎn)品線總經(jīng)理劉軍受邀出席新智元“元宇宙 新人類(lèi)”論壇,在《元宇宙服務(wù)器MetaEngine》主題報(bào)告中,分享了浪潮信息對(duì)元宇宙的認(rèn)知,元宇宙面臨的技術(shù)挑戰(zhàn),以及如何打造元宇宙新型基礎(chǔ)設(shè)施的見(jiàn)解。

【以下內(nèi)容基于演講實(shí)錄整理】

元宇宙是數(shù)實(shí)融合的數(shù)字載體

數(shù)實(shí)融合當(dāng)前已經(jīng)成為一種潮流的趨勢(shì),當(dāng)數(shù)字技術(shù)日益融入經(jīng)濟(jì)社會(huì)發(fā)展各領(lǐng)域、全過(guò)程,持續(xù)推動(dòng)著物理世界數(shù)字化、數(shù)字世界智慧化,逐漸形成了一場(chǎng)涵蓋個(gè)人生活方式、社會(huì)生產(chǎn)方式和國(guó)家治理方式的全面變革。

數(shù)實(shí)相融就是數(shù)字化世界同物理世界的融合,用數(shù)字世界來(lái)引導(dǎo)現(xiàn)實(shí)世界的運(yùn)行,用數(shù)字世界的智慧化實(shí)現(xiàn)現(xiàn)實(shí)世界的智慧化。

元宇宙本質(zhì)上是更高度的數(shù)實(shí)融合,它是數(shù)實(shí)融合的數(shù)字載體,這里我們以數(shù)字孿生和虛擬人為例來(lái)談?wù)劇?/p>

數(shù)字孿生是元宇宙的數(shù)字空間基礎(chǔ),它可以將物理對(duì)象以數(shù)字化的方式在虛擬空間進(jìn)行動(dòng)態(tài)呈現(xiàn),它的應(yīng)用體現(xiàn)在多個(gè)方面,比如孿生工廠,可以動(dòng)態(tài)的呈現(xiàn)從生產(chǎn)制作的全過(guò)程動(dòng)態(tài)管理,實(shí)現(xiàn)運(yùn)轉(zhuǎn)效率的大幅提升;孿生城市可以在數(shù)字世界推演天氣環(huán)境、人口土地、產(chǎn)業(yè)交通等要素的交互運(yùn)行,繪制城市畫(huà)像,幫助城市規(guī)劃、城市治理的效率提升;孿生基建可以讓我們?cè)谛藿ǜ咚俟?、樓體建筑時(shí),在數(shù)字世界對(duì)工程進(jìn)行仿真模擬,評(píng)估結(jié)構(gòu)和承力,在工程交付后的維護(hù)階段評(píng)估工程是否可以承擔(dān)特殊情況的壓力,以及監(jiān)測(cè)可能出現(xiàn)的事故隱患。

數(shù)字虛擬人是元宇宙的重要實(shí)體(Entity)和生態(tài),就像是元宇宙世界中的公民,是人類(lèi)身份在虛擬世界的載體。利用數(shù)字虛擬人,人們也可以提升很多工作效率,比如虛擬主播可以7*24小時(shí)的進(jìn)行新聞播報(bào),可以讓人們?nèi)旌虻牧私馓煜麓笫?,虛擬醫(yī)生可以通過(guò)打通就診數(shù)據(jù)、跟蹤上萬(wàn)種細(xì)微指標(biāo)特征差異,打破時(shí)間和空間,實(shí)現(xiàn)醫(yī)生就診病人從1對(duì)1轉(zhuǎn)變?yōu)?對(duì)多管理,虛擬模特在疫情下緩解了模特緊缺的市場(chǎng)情況,解決模特的供不應(yīng)求。

元宇宙:認(rèn)知世界 再現(xiàn)世界

元宇宙,可以說(shuō)是一個(gè)認(rèn)知世界、再現(xiàn)世界的過(guò)程,這個(gè)過(guò)程涉及到在線協(xié)同建模、高精度仿真、實(shí)時(shí)渲染、智能交互等多個(gè)環(huán)節(jié),每個(gè)環(huán)節(jié)下都有對(duì)應(yīng)的關(guān)鍵技術(shù)、軟件棧和算法工具。

首先,構(gòu)建元宇宙需要進(jìn)行3D建模,最近比較前沿的還有AIGC(利用GAN/多模態(tài)模型生成內(nèi)容創(chuàng)作),這部分的工作需要多人在線協(xié)同構(gòu)建。

由多人在線協(xié)同生成3D模型生成后,需要在元宇宙中仿真運(yùn)行,通過(guò)結(jié)構(gòu)仿真、感知仿真和控制仿真可以對(duì)模型進(jìn)行驗(yàn)證,如果說(shuō)建模是對(duì)物理實(shí)體理解的模型化,那么仿真就是驗(yàn)證和確認(rèn)這種理解的正確性和有效性的工具。

通過(guò)光線追蹤、光柵化、數(shù)據(jù)流傳輸可以讓虛擬人、數(shù)字世界更加逼真,為用戶帶來(lái)超現(xiàn)實(shí)的感官體驗(yàn),呈現(xiàn)出一個(gè)更加豐富多彩的數(shù)字世界,擁有逼近現(xiàn)實(shí)世界一樣的沉浸感。

利用CV/NLP/ASR/TTS等AI技術(shù),讓數(shù)字世界的虛擬人可以能聽(tīng)、會(huì)說(shuō)、能交互,從而打破數(shù)字世界和物理世界的邊界,實(shí)現(xiàn)線上線下的交融。

元宇宙通過(guò)以上多個(gè)環(huán)節(jié)、多個(gè)工具才能達(dá)到超越感官、智能交互的水平,像現(xiàn)實(shí)世界一樣豐富多彩。

元宇宙需要強(qiáng)大的算力基礎(chǔ)設(shè)施

元宇宙的出現(xiàn)和發(fā)展帶來(lái)的不僅有精彩,還有挑戰(zhàn),元宇宙構(gòu)建的各個(gè)環(huán)節(jié)都需要用到不同類(lèi)型的算力支撐,也就是元宇宙的算力基礎(chǔ)設(shè)施。

大規(guī)模、高復(fù)雜的數(shù)字孿生空間、數(shù)字人和其他實(shí)體角色的建模需要眾多設(shè)計(jì)師協(xié)同創(chuàng)作完成,現(xiàn)實(shí)世界和數(shù)字世界的交互則需要實(shí)時(shí)、高清的3D渲染算力和低延遲的網(wǎng)絡(luò)數(shù)據(jù)傳輸,增加了云端協(xié)同的處理需求。

元宇宙的應(yīng)用會(huì)涉及到動(dòng)力、熱力、流體等多類(lèi)物理仿真,這需要用到高精度的數(shù)值計(jì)算,來(lái)支撐物理仿真和科學(xué)可視化。

讓數(shù)字世界無(wú)限接近現(xiàn)實(shí)世界,需要高逼真、沉浸感的3D場(chǎng)景構(gòu)建和渲染。舉個(gè)iMax 3D電影的例子,比如《戰(zhàn)斗天使阿麗塔》這部電影,其中阿麗塔高度擬真的視覺(jué)特效令人震撼,這樣以假亂真的渲染效果來(lái)源于巨大的算力消耗:主角13萬(wàn)根發(fā)絲每根都需要進(jìn)行單獨(dú)渲染,僅1幀畫(huà)面渲染就要耗費(fèi)100個(gè)小時(shí),而元宇宙的渲染不僅只涉及一個(gè)虛擬人,還包括建筑、城市等其他元素,這需要巨量的圖形圖像計(jì)算支撐。

同時(shí),元宇宙還會(huì)涉及到人機(jī)交互等AI應(yīng)用場(chǎng)景,由AI驅(qū)動(dòng)的數(shù)字人往往需要結(jié)合語(yǔ)音識(shí)別、NLP、DLRM等AI算法從而實(shí)現(xiàn)交互能力,這些模型的背后需要強(qiáng)大的AI算力來(lái)支撐其訓(xùn)練和推理需求。

可以看到,要構(gòu)建高度擬真的數(shù)字世界并實(shí)現(xiàn)數(shù)億用戶實(shí)時(shí)交互的“元宇宙”,當(dāng)前面臨著場(chǎng)景規(guī)模大、場(chǎng)景復(fù)雜度高,以及多設(shè)計(jì)師和多部門(mén)協(xié)作、極高逼真數(shù)字元素制作,實(shí)時(shí)渲染、仿真和交互等諸多挑戰(zhàn),并對(duì)支撐元宇宙構(gòu)建和運(yùn)轉(zhuǎn)的核心源動(dòng)力——算力提出更高的要求。這種要求不僅僅是高性能、低延遲、易擴(kuò)展的硬件平臺(tái),還有端到端、生態(tài)豐富、高易用的軟件棧。

浪潮元宇宙服務(wù)器MetaEngine

浪潮元宇宙服務(wù)器MetaEngine正是為滿足這些苛刻要求而設(shè)計(jì)的軟硬一體化基礎(chǔ)設(shè)施。

作為元宇宙生態(tài)的底層算力支撐平臺(tái),MetaEngine將承載元宇宙構(gòu)建和運(yùn)行所需的技術(shù)和工具,提供對(duì)AI、渲染、仿真、建模等負(fù)載的算力支持,滿足元宇宙創(chuàng)建所需的“協(xié)同創(chuàng)建、實(shí)時(shí)渲染、高精仿真、智能交互”4大作業(yè)環(huán)節(jié)的不同類(lèi)型算力需求,并通過(guò)高速、無(wú)阻塞的網(wǎng)絡(luò)信道,按需擴(kuò)展至大規(guī)模算力集群。浪潮元宇宙服務(wù)器結(jié)合業(yè)界最強(qiáng)軟硬件生態(tài),協(xié)同優(yōu)化加速數(shù)字孿生世界構(gòu)建,為用戶打造高效的元宇宙協(xié)同開(kāi)發(fā)體驗(yàn)。單臺(tái)元宇宙服務(wù)器即可支持256位元宇宙架構(gòu)師協(xié)同創(chuàng)作,每秒AIGC 2000個(gè)數(shù)字場(chǎng)景,1000位VR/AR用戶共享10K超高清3D數(shù)字世界順暢體驗(yàn)。

元宇宙服務(wù)器產(chǎn)品方案架構(gòu)

在硬件上,MetaEngine采用浪潮領(lǐng)先的異構(gòu)加速服務(wù)器的旗艦系統(tǒng),支持最先進(jìn)的CPU和GPU,具有強(qiáng)大的RDMA通信和數(shù)據(jù)存儲(chǔ)能力,支持強(qiáng)大的渲染和AI計(jì)算能力。

在軟件上,可以支持對(duì)應(yīng)每個(gè)作業(yè)環(huán)節(jié)的各類(lèi)專(zhuān)業(yè)軟件工具,用戶可以根據(jù)使用習(xí)慣靈活選擇,同時(shí)系統(tǒng)集成了NVIDIA Omniverse Enterprise,為用戶準(zhǔn)備了豐富的開(kāi)發(fā)套件,包括專(zhuān)門(mén)用于結(jié)構(gòu)、感知、控制仿真的Simulation SDKs,用于渲染、實(shí)時(shí)光追、AI降噪的SDKs,用戶可以通過(guò)Kit功能將這些不同的SDK進(jìn)行模塊化的組合,快速完成定制化App或者微服務(wù)的開(kāi)發(fā),當(dāng)然這里已經(jīng)為用戶準(zhǔn)備好了一些廣泛適用的App比如用于建模和渲染的Create,用于可視化的View,更為重要的是,用戶通過(guò)App開(kāi)發(fā)的內(nèi)容可以通過(guò)數(shù)據(jù)庫(kù)和協(xié)作引擎NUCLEUS,建模工具互聯(lián)插件CONNECT與第三方專(zhuān)業(yè)軟件工具無(wú)縫連接,目前CONNECT已經(jīng)提供了20多種Plugins,支持與3DS MAX、UE、MAYA等軟件互聯(lián)。

MetaEngine的目標(biāo)是構(gòu)建一個(gè)端到端、生態(tài)豐富和高易用的協(xié)作平臺(tái),為用戶打造一站式元宇宙開(kāi)發(fā)體驗(yàn)。

MetaEngine全面支持Omniverse

當(dāng)前,MetaEngine已經(jīng)全面支持英偉達(dá)的Omniverse Enterprise,將高性能 GPU 的圖形計(jì)算、AI計(jì)算與高速存儲(chǔ)訪問(wèn)、低延遲網(wǎng)絡(luò)和精確計(jì)時(shí)相結(jié)合,是一個(gè)數(shù)據(jù)中心級(jí)的軟硬一體解決方案,專(zhuān)用于為大規(guī)模數(shù)字孿生提供算力和應(yīng)用支持,以實(shí)時(shí)創(chuàng)建和運(yùn)行非常復(fù)雜的模型和逼真的仿真環(huán)境。

目前的MetaEngine元宇宙服務(wù)器集成A40的專(zhuān)業(yè)GPU,CX6 Dx高速網(wǎng)卡,并與企業(yè)級(jí)管理和編排軟件相結(jié)合,為用戶準(zhǔn)備了豐富的建模、渲染、仿真套件。同時(shí),可以將32臺(tái)MetaEngine組合成為1個(gè)集群式的可擴(kuò)展單元,多個(gè)可擴(kuò)展單元可以繼續(xù)橫向擴(kuò)展組成更大規(guī)模集群,可提供非凡的計(jì)算性能和超高的網(wǎng)絡(luò)帶寬,滿足工廠、城市乃至更大規(guī)模復(fù)雜仿真和實(shí)時(shí)數(shù)字孿生的需求。

在這里,我也將為大家分享如何用浪潮MetaEnigne創(chuàng)建數(shù)字孿生和虛擬人。

MetaEngine創(chuàng)建數(shù)字孿生

首先,以新品設(shè)計(jì)、流水線調(diào)度生產(chǎn)、上市為例,談一談MetaEngine如何創(chuàng)建運(yùn)行數(shù)字孿生,來(lái)優(yōu)化工作流,提高生產(chǎn)效率。當(dāng)生產(chǎn)及需求達(dá)到一定規(guī)模時(shí),生產(chǎn)、配送、分揀的過(guò)程就成為了一個(gè)系統(tǒng)工程性問(wèn)題,如飲料、汽車(chē)等各行業(yè)的大規(guī)模制造公司。使用數(shù)字孿生讓虛擬世界的高精仿真代替現(xiàn)實(shí)世界的運(yùn)行,在產(chǎn)品設(shè)計(jì)生產(chǎn)、調(diào)配之前,模擬其過(guò)程取得物理裝置最優(yōu)的參數(shù)配置,提高效率贏得市場(chǎng)。

如何建造一個(gè)流水線上的數(shù)字孿生?MetaEngine提供元宇宙構(gòu)建所需的多元算力和Omniverse組件,為構(gòu)建和運(yùn)行該數(shù)字孿生提供基礎(chǔ)能力。

首先是在線建模,按照1:1數(shù)字模型創(chuàng)建工廠的建筑、流水線等生產(chǎn)交付全過(guò)程。Connect組件提供20多個(gè)第三方建模軟件的連接插件,允許用戶使用第三方建模工具接入?yún)f(xié)同建模,Omniverse使用統(tǒng)一數(shù)據(jù)格式USD與第三方建模軟件(SketchUp/Revit)進(jìn)行數(shù)據(jù)交互,Nucleus數(shù)據(jù)庫(kù)提供多人數(shù)據(jù)管理功能,允許多用戶同時(shí)修改可視化、渲染3D-USD文件。

高精仿真階段使用Simulation組件仿真新產(chǎn)品的材質(zhì)及物理屬性,根據(jù)高逼真的虛擬物品,使用Replicator完成仿真環(huán)境的部署、搭建。Omniverse豐富的材質(zhì)庫(kù)可以為設(shè)計(jì)模擬物品,提供更好的逼真度,配合使用物理仿真、動(dòng)畫(huà)制作的軟件(Ansys/Houdini)可以完成整個(gè)流水線和物品的高精仿真;Replicator組件則根據(jù)仿真結(jié)果生成AI模型訓(xùn)練需要的合成數(shù)據(jù)環(huán)境。

實(shí)時(shí)渲染階段,使用Renderer組件對(duì)仿真環(huán)境中的材質(zhì)、光照條件實(shí)時(shí)渲染畫(huà)面,生成用于訓(xùn)練AI模型的合成數(shù)據(jù)。根據(jù)合成數(shù)據(jù)在MetaEngine中訓(xùn)練我們的AI視覺(jué)模型,提供物理實(shí)體及流水線流程的監(jiān)控及理解。

智能交互階段,將在MetaEngine中訓(xùn)練完成的AI模型部署于物理環(huán)境與虛擬環(huán)境,虛擬環(huán)境中的AI推理指導(dǎo)物理實(shí)體行為,物理環(huán)境中實(shí)際反應(yīng)再返回虛擬環(huán)境指導(dǎo)模型融合訓(xùn)練。虛擬世界中如檢測(cè)到畫(huà)面中的擁堵或者空閑,可以反饋到物理流水線改變作業(yè)狀態(tài),反之物理流水線上真實(shí)的結(jié)果可以生成真實(shí)數(shù)據(jù)繼續(xù)更新AI模型。

MetaEngine創(chuàng)建虛擬數(shù)字人

我們?cè)僖愿弑普娴慕换バ吞摂M數(shù)字人的制作及使用為例,依然按照“協(xié)作建模---高精仿真---實(shí)時(shí)渲染---智能交互”的作業(yè)流程來(lái)看如何用MetaEngine創(chuàng)建虛擬人。

首先可以使用UE Metahuman/CHARACTER CREATOR配合Omniverse Nucleus/Connect進(jìn)行3D人物形象及人臉建模。然后通過(guò)高精仿真,讓虛擬數(shù)字人更加自然、真切的與我們交流,比如對(duì)毛發(fā)的模擬,12萬(wàn)根毛發(fā)如何在風(fēng)中飛舞,這得需要強(qiáng)大的算力支撐,還需要借助AI模型生成逼真的手勢(shì)和面部表情。

再就是實(shí)時(shí)渲染,MetaEngine中的Omniverse RTX Renderer可以提供實(shí)時(shí)渲染能力,讓人物動(dòng)畫(huà)及其場(chǎng)景實(shí)時(shí)立體地展示在我們面前,通過(guò)屏幕或XR設(shè)備進(jìn)行溝通交流。

最后是智能交互使用,這塊需要有大量的AI模型提供支撐,把整個(gè)智能交互的流程放大來(lái)看。用戶首先通過(guò)語(yǔ)音和視頻分別通過(guò)ASR 和 Vision AI模型進(jìn)行推理,得到文本及視頻動(dòng)作理解;將文本、動(dòng)作理解融合送入的NLP語(yǔ)言模型如源1.0生成語(yǔ)言文本,再將語(yǔ)言文本轉(zhuǎn)化為語(yǔ)音或動(dòng)作語(yǔ)言表述,通過(guò)TTS模型將文本轉(zhuǎn)化為語(yǔ)音,語(yǔ)音驅(qū)動(dòng)Avatar制作的虛擬數(shù)字人,產(chǎn)生面部行為(audio2face應(yīng)用)動(dòng)作手勢(shì)(audio2gesture),并通過(guò)RTX Renderer實(shí)時(shí)渲染能力生成動(dòng)畫(huà)視頻作為輸出與用戶交互。

當(dāng)然,元宇宙不僅只有數(shù)字孿生和虛擬人。元宇宙要實(shí)時(shí)地映射現(xiàn)實(shí)世界,在元宇宙中再現(xiàn)工業(yè)、農(nóng)業(yè)、服務(wù)業(yè)、社會(huì)、經(jīng)濟(jì)、文化、城市、鄉(xiāng)村、地球等現(xiàn)實(shí)世界,用戶“身臨其境”地在其中社交、娛樂(lè)、會(huì)議、協(xié)作、旅游、購(gòu)物、教育,所有人都可以在其中互動(dòng),要達(dá)到這樣的目標(biāo),還有很長(zhǎng)的路要去走,需要不斷探索和發(fā)現(xiàn)更有效率的實(shí)現(xiàn)元宇宙的創(chuàng)新技術(shù)和方案。

如同發(fā)展汽車(chē)產(chǎn)業(yè)需要高速公路一樣,汽車(chē)是應(yīng)用,公路是基礎(chǔ)設(shè)施,元宇宙也需要基礎(chǔ)設(shè)施。MetaEngine元宇宙服務(wù)器即是浪潮為加速元宇宙產(chǎn)業(yè)提出的算力基礎(chǔ)設(shè)施。


關(guān)鍵詞: 通信世界網(wǎng)

 

網(wǎng)站介紹  |  版權(quán)說(shuō)明  |  聯(lián)系我們  |  網(wǎng)站地圖 

星際派備案號(hào):京ICP備2022016840號(hào)-16 營(yíng)業(yè)執(zhí)照公示信息版權(quán)所有 郵箱聯(lián)系:920 891 263@qq.com