浪潮李龍翔：多層數(shù)據(jù)訪問優(yōu)化 應(yīng)對超大規(guī)模系統(tǒng)挑戰(zhàn)

（CWW）4月9日-13日，第十三屆國際性能工程學(xué)大會（ICPE2022）在線召開。此次大會涉及AI建模及算法、算力提升、能效測量、新型計算架構(gòu)、體系結(jié)構(gòu)研究等多個主題。

浪潮信息人工智能與高性能應(yīng)用軟件部高性能應(yīng)用架構(gòu)師李龍翔發(fā)表主題為《多層數(shù)據(jù)訪問優(yōu)化》的演講指出，隨著近年CPU核心數(shù)增加及性能的不斷增強，在超大規(guī)模系統(tǒng)并行計算時，越來越多的應(yīng)用運行性能主要受數(shù)據(jù)訪問速度限制。針對超大規(guī)模集群的數(shù)據(jù)存儲特點，他介紹了一種多層數(shù)據(jù)訪問 (Multi-Layered Data Access，MLDA) 優(yōu)化方法，可以快速對超大規(guī)模并行計算性能瓶頸進行分析，通過對存儲、網(wǎng)絡(luò)、訪存、CPU等設(shè)備數(shù)據(jù)訪問過程優(yōu)化，提升超大規(guī)模集群并行計算效率。

據(jù)悉，這只是浪潮信息解決超大規(guī)模系統(tǒng)挑戰(zhàn)多種技術(shù)之一，在中文巨量模型"源1.0"的訓(xùn)練過程中，浪潮信息采用了多種面向超大規(guī)模并行計算技術(shù)的軟硬件協(xié)同優(yōu)化手段，通過流水線并行、張量并行等手段自動地將模型多層數(shù)據(jù)切分到不同的節(jié)點中實現(xiàn)并行。"源1.0"模型包含的參數(shù)總量達 2457 億，是 GPT-3 的 1.404 倍。

關(guān)鍵詞： 通信世界網(wǎng) 數(shù)據(jù)訪問