面向企業(yè)級(jí)服務(wù)器 英偉達(dá)推出兩大數(shù)據(jù)中心推理新品

NVIDIA 面向企業(yè)級(jí)服務(wù)器最新推出的 A30 和 A10 GPU 兩大數(shù)據(jù)中心推理新品，今日完成性能首秀，并創(chuàng)下推理新紀(jì)錄。

在業(yè)界公認(rèn)的 AI 性能衡量基準(zhǔn)——MLPerf 基準(zhǔn)測(cè)試中，NVIDIA GPU 在所有類別刷新記錄。

絕大多數(shù)參與數(shù)據(jù)中心及邊緣推理測(cè)試的系統(tǒng)均采用 NVIDIA GPU 作為 AI 加速器，少數(shù)則采用高通、賽靈思、Neuchips、Centaur、Arm 等其他芯片商的加速器。

NVIDIA 的兩款新 GPU 集高性能與低功耗于一身，可成為企業(yè)在 AI 推理、訓(xùn)練、圖形和傳統(tǒng)企業(yè)級(jí)計(jì)算工作負(fù)載等諸多方面的主流選擇。思科、戴爾科技、慧與、浪潮和聯(lián)想預(yù)計(jì)會(huì)從今年夏季開始將這兩款 GPU 集成到其最高容量的服務(wù)器中。

一、NVIDIA 在六類算法測(cè)試均刷新紀(jì)錄

MLPerf 基準(zhǔn)測(cè)試由圖靈獎(jiǎng)得主 David Patterson 聯(lián)合科技公司和全球頂級(jí)高校于 2018 年發(fā)起，是業(yè)界首套衡量機(jī)器學(xué)習(xí)軟硬件性能的通用基準(zhǔn)，能展示不同 CPU、GPU、加速器組合做展示出的不同性能表現(xiàn)，如今 MLPerf 已成為業(yè)界評(píng)測(cè) AI 性能的最主流標(biāo)準(zhǔn)之一。

“隨著 AI 持續(xù)為各行各業(yè)帶來變革，MLPerf 也成為企業(yè)的一項(xiàng)重要工具，能夠助力其在IT基礎(chǔ)設(shè)施投資方面做出明智的決策。”NVIDIA 加速計(jì)算部門總經(jīng)理兼副總裁 Ian Buck 說，“如今，所有主要 OEM 廠商都提交了 MLPerf 測(cè)試結(jié)果。”

除 NVIDIA 公司提交的測(cè)試結(jié)果外，阿里云、戴爾科技、富士通、技嘉科技、慧與、浪潮、聯(lián)想和超微等多家 NVIDIA 合作伙伴也提交了共 360 多項(xiàng)基于 NVIDIA GPU 的測(cè)試結(jié)果。

最新公布的測(cè)試結(jié)果顯示，NVIDIA 是唯一一家針對(duì)數(shù)據(jù)中心和邊緣類別中的每項(xiàng)測(cè)試都提交結(jié)果的公司，并在所有 MLPerf 工作負(fù)載中均展現(xiàn)出領(lǐng)先的性能。

例如，在數(shù)據(jù)中心基準(zhǔn)測(cè)試中，NVIDIA A100 的性能表現(xiàn)相較 CPU 提高 17-314 倍，最新發(fā)布的 A10 和 A30 也展現(xiàn)出不錯(cuò)的測(cè)試結(jié)果。

相比高通 Cloud AI 100，NVIDIA A100 在 ResNet-50 和 SSD-Large 算法中均展現(xiàn)出更高的性能。

NVIDIA A100、Jetson 系列在邊緣基準(zhǔn)測(cè)試中展示了全部六類算法測(cè)試的結(jié)果。

此外，NVIDIA 還開創(chuàng)性地使用 NVIDIA Ampere 架構(gòu)的多實(shí)例 GPU 性能，在單一 GPU 上使用 7 個(gè) MIG 實(shí)例，同時(shí)運(yùn)行所有 7 項(xiàng) MLPerf 離線測(cè)試。該配置實(shí)現(xiàn)了與單一 MIG 實(shí)例獨(dú)立運(yùn)行幾乎相同(98%)的性能。

這些提交結(jié)果展示了 MIG 的性能和通用性?；A(chǔ)設(shè)施經(jīng)理可以針對(duì)特定應(yīng)用，配置適當(dāng)數(shù)量的 GPU 計(jì)算，從而讓每個(gè)數(shù)據(jù)中心 GPU 都能發(fā)揮最大的效用。

多項(xiàng)提交結(jié)果還基于 NVIDIA Triton 推理服務(wù)器。該推理服務(wù)器支持來自所有主要框架的模型，可在 GPU 及 CPU 上運(yùn)行，并針對(duì)批處理、實(shí)時(shí)和串流傳輸?shù)炔煌牟樵冾愋瓦M(jìn)行了優(yōu)化，能簡(jiǎn)化在應(yīng)用中部署 AI 的復(fù)雜性，同時(shí)保證領(lǐng)先的性能。

在配置相當(dāng)?shù)那闆r下，采用 Triton 的提交結(jié)果所達(dá)到的性能接近于最優(yōu)化的 GPU 實(shí)現(xiàn)及 CPU 實(shí)現(xiàn)能夠達(dá)到的性能。

二、A30 和 A10 今夏商用

NVIDIA 能夠取得如此佳績(jī)，得益于 NVIDIA AI 平臺(tái)的廣度。

該 AI 平臺(tái)包含多種類型的 GPU 以及經(jīng)優(yōu)化后能實(shí)現(xiàn) AI 加速的全棧 NVIDIA 軟件，包括 TensorRT 和 NVIDIA Triton 推理服務(wù)器。微軟、Pinterest、Postmates、T-Mobile、USPS、微信等企業(yè)都部署了 NVIDIA AI 平臺(tái)。

A30 和 A10 GPU 是 NVIDIA AI 平臺(tái)中的最新成員。

A30 能夠?yàn)樾袠I(yè)標(biāo)準(zhǔn)服務(wù)器提供通用的性能，支持廣泛的 AI 推理和主流企業(yè)級(jí)計(jì)算工作負(fù)載，如推薦系統(tǒng)、對(duì)話式 AI 和計(jì)算機(jī)視覺。

A10 可加速深度學(xué)習(xí)推理、交互式渲染、計(jì)算機(jī)輔助設(shè)計(jì)和云游戲，使企業(yè)能夠基于通用基礎(chǔ)設(shè)施，為混合型 AI 和圖形工作負(fù)載提供支持。通過采用 NVIDIA 虛擬 GPU 軟件，可改進(jìn)管理，為設(shè)計(jì)師、工程師、藝術(shù)家和科學(xué)家所用的虛擬桌面提高利用率并完善配置。

NVIDIA Jetson 平臺(tái)基于 NVIDIA Xavier 系統(tǒng)級(jí)模塊，可在邊緣提供服務(wù)器級(jí)的 AI 性能，助力機(jī)器人、醫(yī)療健康、零售等領(lǐng)域?qū)崿F(xiàn)更多的創(chuàng)新應(yīng)用。Jetson 基于 NVIDIA 的統(tǒng)一架構(gòu)和 CUDA-X 軟件堆棧，是唯一采用緊湊型設(shè)計(jì)、能夠運(yùn)行所有邊緣工作負(fù)載且功耗低于 30W 的平臺(tái)。

過去 6 個(gè)月，NVIDIA 端到端 AI 平臺(tái)在 MLPerf 的性能提升達(dá) 45%。

NVIDIA A100 GPU 搭載于領(lǐng)先服務(wù)器制造商的服務(wù)器、所有主要云服務(wù)提供商的云端，以及 NVIDIA DGX 系統(tǒng)產(chǎn)品組合(包括 NVIDIADGX StationA100、NVIDIA DGX A100 和 NVIDIA DGX SuperPOD)。

A30 和 A10(功耗分別為 165W 和 150W)預(yù)計(jì)將從今夏起用于各類服務(wù)器中，包括經(jīng)嚴(yán)格測(cè)試以確保在各類工作負(fù)載下均可實(shí)現(xiàn)高性能的 NVIDIA 認(rèn)證系統(tǒng)。

NVIDIA Jetson AGX Xavier 和 Jetson Xavier NX 系統(tǒng)級(jí)模塊已通過全球經(jīng)銷商供貨。

NVIDIA Triton 和 NVIDIA TensorRT 均可通過 NVIDIA 的軟件目錄 NGC 獲取。

結(jié)語(yǔ)：MLPerf 參與者集中于芯片大廠

總體來看，參與 MLPerf 基準(zhǔn)測(cè)試的 AI 加速器主要來自 NVIDIA、高通、賽靈思等芯片巨頭，尤其是 NVIDIA GPU 幾乎刷屏數(shù)據(jù)中心及邊緣的加速器一列，相對(duì)而言，我們鮮少看見 AI 硬件初創(chuàng)公司的身影。

NVIDIA 加速計(jì)算部門總經(jīng)理兼副總裁 Ian Buck 說：“NVIDIA 及合作伙伴的關(guān)注點(diǎn)不僅在于實(shí)現(xiàn)全球領(lǐng)先的 AI 性能，同時(shí)還注重通過即將面市的一系列搭載 A30 和 A10 GPU 的企業(yè)級(jí)服務(wù)器來實(shí)現(xiàn) AI 普及化。”

關(guān)鍵詞： 企業(yè)級(jí) 服務(wù)器 英偉達(dá) 新品