馮丹教授:近數(shù)據(jù)處理新型盤框等技術(shù)創(chuàng)新,加速數(shù)據(jù)中心向Diskless架構(gòu)演進(jìn)|世界微頭條

發(fā)布時(shí)間:2023-04-20 11:28:21  |  來源:通信世界全媒體  

(CWW)日前,在中國深圳舉辦的第 20 屆華為全球分析師大會(huì),長江學(xué)者特聘教授、華中科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院院長馮丹對(duì)數(shù)據(jù)中心 Diskless 架構(gòu)及近數(shù)據(jù)處理發(fā)展趨勢(shì)做出了權(quán)威解讀,為傳統(tǒng)云存儲(chǔ)、大數(shù)據(jù)等計(jì)算域和存儲(chǔ)域不完全分離造成的資源浪費(fèi),提出了一個(gè)新的技術(shù)解決方向,幫助云和互聯(lián)網(wǎng)數(shù)據(jù)中心降本增效,實(shí)現(xiàn)數(shù)據(jù)中心高質(zhì)量演進(jìn)。

馮丹教授提到,傳統(tǒng)存算融合架構(gòu)下,企業(yè)通常采用應(yīng)用與本地盤耦合的服務(wù)器一體化架構(gòu),存在存力效率低、無效數(shù)據(jù)遷移、資源浪費(fèi)等典型問題:

1.計(jì)算域和存儲(chǔ)域未徹底分離,仍各自存在獨(dú)立的本地存儲(chǔ),往往按照最大容量預(yù)設(shè)配置,存力利用率低;


(資料圖)

2.采用通用算力進(jìn)行數(shù)據(jù)處理,IO 效率低,存儲(chǔ)域仍以 CPU 為中心,存取性能無法充分發(fā)揮;

3.數(shù)據(jù)從盤到計(jì)算域 CPU, 需要 8 次以上數(shù)據(jù)搬遷,無效搬遷帶來了網(wǎng)絡(luò)和算力資源的浪費(fèi);

4.在存算融合的上千節(jié)點(diǎn)大規(guī)模集群中,算力、容量空間配比無法均衡,擴(kuò)容時(shí)需要額外遷移數(shù)據(jù),不僅帶來現(xiàn)有業(yè)務(wù)風(fēng)險(xiǎn),還會(huì)浪費(fèi)投資;

5.數(shù)據(jù)爆發(fā)增長,面向結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)縮減策略不完全適用于非結(jié)構(gòu)化場(chǎng)景。

隨著算力多樣化、高性能網(wǎng)絡(luò)和存儲(chǔ)介質(zhì)的發(fā)展,數(shù)據(jù)中心架構(gòu)從以 CPU 中心朝著以數(shù)據(jù)為中心的 Diskless 架構(gòu)演進(jìn)。Diskless 架構(gòu)下,單一 CPU 算力發(fā)展到 GPU、DPU、XPU 等多樣算力,算力效率得以充分發(fā)揮;網(wǎng)絡(luò)從 IP、NOF 發(fā)展到高通量的 CXL,為算力和存力等硬件解耦奠定了基礎(chǔ);存力也從傳統(tǒng) HDD 到 SSD,性能、功耗實(shí)現(xiàn)全面提升。在 Intel、華為、KIOXIA、阿里云等業(yè)界芯片、存儲(chǔ)、云和互聯(lián)網(wǎng)廠商的積極推進(jìn)下,Diskless 架構(gòu)借助專用 DPU / IPU 等數(shù)據(jù)處理芯片和 OceanDisk 等專用存儲(chǔ)模塊,進(jìn)一步提升數(shù)據(jù)處理和存儲(chǔ)的效能,充分調(diào)動(dòng)數(shù)據(jù)中心資源。

馮丹教授表示,資源池化共享的 Diskless 架構(gòu)應(yīng)具備以下關(guān)鍵技術(shù):

1.網(wǎng)存協(xié)同,DPU 硬件卸載加速,數(shù)據(jù)高效協(xié)同處理。通過 DPU 等專有數(shù)據(jù)處理模塊,使服務(wù)器 CPU 全為應(yīng)用服務(wù),基礎(chǔ)設(shè)施與應(yīng)用任務(wù)解耦,將 VirtIO、NVMe-oF 等 CPU 計(jì)算效率低任務(wù)轉(zhuǎn)移到 DPU 的專用加速器執(zhí)行,實(shí)現(xiàn)資源彈性擴(kuò)展。

2.數(shù)控分離 + IO 直通,實(shí)現(xiàn)控制流與 IO 流分離,IO 直通到存儲(chǔ)介質(zhì),進(jìn)一步提升存儲(chǔ)效率。通過數(shù)控分離,可達(dá)到極致 IO 訪問時(shí)延,通過存儲(chǔ)域 IO 讀寫數(shù)據(jù)流與 IO 控制處理的分離,使得讀寫 IO 直通到存儲(chǔ)介質(zhì)中,減少 IO 處理路徑,降低處理復(fù)雜度,極大提升存儲(chǔ)域訪問性能。計(jì)算域則可以借助 DPU bypass CPU,減少數(shù)據(jù)拷貝開銷,提升 IO 訪問性能。

3.盤控協(xié)同,盤芯片與控制器芯片配合,提升集成度,達(dá)到最佳成本和能耗。盤控協(xié)同技術(shù)的關(guān)鍵是要實(shí)現(xiàn)高性能、低成本的大盤,通過硬件對(duì)盤控系統(tǒng)內(nèi)的算法進(jìn)行加速,比如利用 FPGA 實(shí)現(xiàn) FTL / DIF / 在線壓縮 / 加密 / EC / GC 等硬化,提升性能;盤內(nèi)和框內(nèi)的各類驅(qū)動(dòng)和緩存層合一,實(shí)現(xiàn)盤框一體,構(gòu)建極致成本和能耗的大盤存儲(chǔ)。

4.算子卸載,EC、數(shù)據(jù)縮減等算法通過硬件卸載到存儲(chǔ)端,實(shí)現(xiàn)近數(shù)據(jù)處理。通過計(jì)算語義的卸載,存儲(chǔ)直出語義接口,主機(jī)側(cè)軟件棧打薄,減少 80% 的 IO 交互次數(shù),實(shí)現(xiàn)對(duì)整系統(tǒng)的 CPU 和網(wǎng)絡(luò)帶寬節(jié)省。同時(shí),在大數(shù)據(jù) / 數(shù)據(jù)倉庫場(chǎng)景,可以利用引擎的下推接口,下推謂詞和投影等運(yùn)算操作到存儲(chǔ)資源池,減少無效數(shù)據(jù)的搬移。

馮丹教授表示:“從技術(shù)趨勢(shì)來看,高性能異構(gòu)算力、高速網(wǎng)絡(luò)、大存力新型盤框、算子卸載等技術(shù)的發(fā)展,帶來了數(shù)據(jù)中心架構(gòu)的變革,加速了以 CPU 為中心的耦合架構(gòu)走向徹底存算分離、資源池化共享的以數(shù)據(jù)為中心的 Diskless 架構(gòu),這種架構(gòu)進(jìn)一步簡化了數(shù)據(jù)中心基礎(chǔ)設(shè)施構(gòu)建,能夠?qū)崿F(xiàn)存力和算力資源的集約高效發(fā)展,已經(jīng)成為大規(guī)模數(shù)據(jù)中心發(fā)展的重要技術(shù)趨勢(shì)?!?/p>

華為去年發(fā)布的 OceanDisk 智能盤框產(chǎn)品,是一個(gè)標(biāo)準(zhǔn)的大存力新型盤框產(chǎn)品。OceanDisk 通過 NoF + 高速網(wǎng)絡(luò)連接 Diskless 服務(wù)器,實(shí)現(xiàn)計(jì)算和存儲(chǔ)獨(dú)立彈性擴(kuò)展,幫助客戶提高資源利用率,機(jī)柜空間和設(shè)備功耗分別降低 40%;內(nèi)置 FlashLink? 智能盤框協(xié)同算法等軟硬結(jié)合技術(shù),帶來最大 250 萬 IOPS,50GB / s 帶寬的高性能;依托華為多年存儲(chǔ)研發(fā)實(shí)力,OceanDisk 智能盤框提供硬盤亞健康管理、智能慢盤優(yōu)化等技術(shù),保持大規(guī)模數(shù)據(jù)中心 10 萬級(jí)硬盤的性能穩(wěn)定,大幅降低運(yùn)維難度。OceanDisk 作為業(yè)界首個(gè)面向 Diskless 架構(gòu)的新型盤框,將以高性能、高可靠、綠色集約重新定義下一代云和互聯(lián)網(wǎng)數(shù)據(jù)中心存儲(chǔ)架構(gòu)。


關(guān)鍵詞:

 

網(wǎng)站介紹  |  版權(quán)說明  |  聯(lián)系我們  |  網(wǎng)站地圖 

星際派備案號(hào):京ICP備2022016840號(hào)-16 營業(yè)執(zhí)照公示信息版權(quán)所有 郵箱聯(lián)系:920 891 263@qq.com