當(dāng)前訊息:ChatGPT對(duì)算力存在雙重影響

發(fā)布時(shí)間:2023-04-25 05:36:48  |  來源:通信世界全媒體  

(CWW)ChatGPT作為近幾個(gè)月持續(xù)的熱點(diǎn)話題,熱度不減的背后,是人工智能內(nèi)容自動(dòng)生成技術(shù)算力需求的水漲船高。一方面,ChatGPT帶動(dòng)了算力需求增長,另一方面,ChatGPT又對(duì)算力支撐提出了更高的要求。


(資料圖片僅供參考)

有數(shù)據(jù)顯示,ChatGPT一次模型訓(xùn)練需要的總算力消耗是3640PF-days,耗資約1200萬美元,且在運(yùn)營過程中也需要相當(dāng)大的開銷。根據(jù)國盛證券報(bào)告,以ChatGPT在1月的獨(dú)立訪客平均數(shù)1300萬計(jì)算,其對(duì)應(yīng)芯片需求為3萬多片英偉達(dá)A100 GPU,大概需要的算力成本為8億美元,每天的電費(fèi)成本在5萬美元左右。ChatGPT獲得微軟130億美元的投資,是其高算力投入背后的信心支撐。正是有了科技巨頭微軟從資金、未來市場(chǎng),到算力基礎(chǔ)設(shè)施(Azure云)的全方位支持,OpenAI才能夠以獨(dú)立創(chuàng)業(yè)企業(yè)的身份,完成如此巨大的工程。算力要求和參數(shù)量級(jí)緊密相關(guān),參數(shù)量級(jí)也是當(dāng)前衡量大模型訓(xùn)練質(zhì)量的一個(gè)重要參考。參數(shù)量越大,模型越智能,隨之而來的開銷也就越大。這一點(diǎn)形成了GPT類型高門檻的特點(diǎn)。GPT-3之前的版本是開源的,其他創(chuàng)業(yè)者比較容易以此為基礎(chǔ)開展新的研發(fā)工作。從GPT-4開始,OpenAI開放API以字節(jié)流量收費(fèi)。不論是應(yīng)用開發(fā),還是在此基礎(chǔ)上進(jìn)行二次模型開發(fā),都存在較高門檻。

比較有趣的事情是Meta公司的LLaMA源代碼泄露。由此出現(xiàn)了所謂的“羊駝家族”(“Llama”可譯為“羊駝”)大模型,希望獲得開源資源的開發(fā)者可以在GPT-3之外獲得一個(gè)新的選擇。

“大模型”對(duì)算力的高度依賴至少造成兩個(gè)重大影響。

一是這已經(jīng)不是“草根”創(chuàng)業(yè)的游戲,也不是以往互聯(lián)網(wǎng)創(chuàng)業(yè)“Copy To China”的游戲,而是“真刀真槍”的核心能力大比拼,從資金、技術(shù)到企業(yè)戰(zhàn)略定力的全方位考核。在傳統(tǒng)工業(yè)時(shí)代,中國從加工業(yè)開始,逐漸向高價(jià)值的核心技術(shù)研發(fā)攀升,但實(shí)際上距離歐美最先進(jìn)水平還有一定距離。特別是在材料科學(xué)等需要長時(shí)間技術(shù)積累的類目上,差距依然很大。

進(jìn)入數(shù)字時(shí)代,中國產(chǎn)業(yè)界的共識(shí)變?yōu)橹苯訌暮诵募夹g(shù)研發(fā)開始。

美國與中國的科技依存度減弱已成趨勢(shì)。雖然現(xiàn)在只是芯片行業(yè)受到掣肘, 但是如果“大模型”發(fā)展成為生產(chǎn)要素,我們也一定會(huì)遇到同樣的問題。因此,中國必須擁有自己的“大模型”核心技術(shù)。中國科技企業(yè)看到這樣的必然性,對(duì)“大模型”進(jìn)行大投入也成為趨勢(shì)。

中小科技企業(yè)在沒有能力開發(fā)原生“大模型”的情況下,可以利用GPT-3或者LLaMA的開源模型進(jìn)行開發(fā)或二次開發(fā),形成自己的“大模型”。應(yīng)用開發(fā)企業(yè)很少會(huì)開發(fā)原生“大模型”,除非對(duì)其應(yīng)用的銷售市場(chǎng)有極高的信心,否則將屈服于巨大的算力成本壓力,轉(zhuǎn)而支付API使用費(fèi),利用現(xiàn)成模型開發(fā)相關(guān)應(yīng)用。

二是“東數(shù)西算”建設(shè)恰逢其時(shí),可能迎來大商機(jī)。

西部地區(qū)“綠電”資源豐富,在“東數(shù)西算”整體規(guī)劃下,西部樞紐主要承擔(dān)備份存儲(chǔ)的工作;東部地區(qū)在智慧城市、產(chǎn)業(yè)互聯(lián)網(wǎng)和互聯(lián)網(wǎng)服務(wù)中的即時(shí)計(jì)算工作,則放在東部地區(qū)的樞紐解決?!按竽P汀睂?duì)算力要求巨大,東部IDC大規(guī)模占用算力資源,有三大缺點(diǎn):成本高(東部電費(fèi)高)、排放高(東部綠電比例小)、擠占低時(shí)延需求應(yīng)用的算力資源,這為西部的算力中心創(chuàng)造了新的商機(jī)。

一方面,將“大模型”的訓(xùn)練計(jì)算放在西部地區(qū)的IDC,對(duì)當(dāng)?shù)氐耐ㄐ啪W(wǎng)絡(luò)性能提升有更高要求。海量數(shù)據(jù)的吞吐是一個(gè)需要解決的問題,但解決這個(gè)問題的成本遠(yuǎn)遠(yuǎn)小于IDC使用費(fèi)差異。

另一方面,科技公司巨頭都提出了自己的ESG(環(huán)境社會(huì)責(zé)任)目標(biāo),碳排放是其中最重要的指標(biāo)?!按竽P汀?、大算力,運(yùn)行就會(huì)產(chǎn)生大量的碳排放,對(duì)“綠色算力”的需求也就越迫切。

關(guān)鍵詞:

 

網(wǎng)站介紹  |  版權(quán)說明  |  聯(lián)系我們  |  網(wǎng)站地圖 

星際派備案號(hào):京ICP備2022016840號(hào)-16 營業(yè)執(zhí)照公示信息版權(quán)所有 郵箱聯(lián)系:920 891 263@qq.com