NVIDIA首發(fā)核心又被割了一刀

近日，NVIDIA正式揭曉了全新一代GPU架構(gòu)“安培”(Ampere)，其龐大的規(guī)模、精妙的架構(gòu)令人驚嘆，同時不出意外、一如既往，首發(fā)核心又被割了一刀。

首先需要注意的是，不同于此前首發(fā)帕斯卡架構(gòu)的Tesla P100、伏特架構(gòu)的Tesla V100，這次的新計算卡被簡單地叫做“A100”，并沒有冠以Tesla的品牌序列，具體原因不詳，可能是想用于更廣泛領(lǐng)域。

與此同時，新的核心則被叫做“A100 Tensor Core GPU”，突出張量核心的關(guān)鍵作用，而核心代號按慣例延續(xù)為GA100。

GA100設(shè)計了8組GPC(GPU處理集群)，每一組GPC里又分為8組TPC(紋理處理集群)，而每組又分為兩組SM(流式多處理器)，然后每組SM包含64個FP32 CUDA核心(流處理器)。

這樣一來，一顆完整的GA100芯片就一共有128組SM、8196個流處理器，而這種分組結(jié)構(gòu)和以往的NVIDIA GPU架構(gòu)是一致的。

同時，每一組SM里還有4個第三代Tensor核心，整顆芯片內(nèi)共計512個，外部則搭配六顆HBM2顯存，每顆8GB，12個512-bit控制器，總位寬6144-bit。

另外，二級緩存從6MB猛增至40MB，每組SM單元的共享內(nèi)存從最多96KB增至164KB、寄存器容量還是256KB，但整顆芯片寄存器達(dá)到27MB。

GA100芯片采用臺積電第一代7nm(N7)工藝制造，核心面積達(dá)826平方毫米，相比上代12nm GV100僅增大了11平方毫米(0.13%)，但晶體管數(shù)量從211億個猛增至542億個，多了接近1.6倍，同時功耗控制在400W(增加33%)，可見新架構(gòu)和新工藝的威力。

如此龐大的核心在量產(chǎn)初期顯然會受制于良品率問題，所以實際使用的A100核心未達(dá)成完整規(guī)格，但和以往簡單屏蔽整組計算單元不同，這次砍得略有些復(fù)雜。

GPC單元屏蔽了整整一組，但剩余的也并未全部開啟，其中兩組GPC也各自屏蔽了一個TPC(兩組SM)，導(dǎo)致總的SM單元為108個、流處理器為6912個、Tensor核心為432個。

核心加速頻率1410MHz，比前兩代其實都低了，但整體性能在飛躍。

顯存也沒有逃過刀法，只開啟了五組HBM2，所以總?cè)萘繛?0GB，總位寬為5120-bit，頻率1215MHz，帶寬1555GB/s，比上代增加73%。

具體到每個SM單元，其中的Tensor核心數(shù)量雖然從8個減少到4個，但每一個每時鐘周期都支持多達(dá)256個FP16FP FMA操作，合計就是1024個，相比伏特、圖靈架構(gòu)翻了一番。

新的Tensor核心還支持對所有數(shù)據(jù)類型加速，包括FP16、BF16、TF32、FP64、INT8、INT4、Binary。

更精細(xì)的專業(yè)細(xì)節(jié)這里就不展開了，你們也沒啥興趣。

三代架構(gòu)首發(fā)核心規(guī)模對比

關(guān)鍵詞： NVIDIA