中國(guó)聯(lián)通智網(wǎng)創(chuàng)新中心大數(shù)據(jù)解決方案全棧自主創(chuàng)新，做活數(shù)據(jù)，賦智行業(yè)

（CWW）2022年我國(guó)數(shù)字經(jīng)濟(jì)規(guī)模首次突破至50.2萬(wàn)億元，占GDP比重達(dá)到41.5%，當(dāng)下，推進(jìn)數(shù)字經(jīng)濟(jì)和實(shí)體經(jīng)濟(jì)深度融合，已成為我國(guó)產(chǎn)業(yè)基礎(chǔ)高級(jí)化與產(chǎn)業(yè)鏈現(xiàn)代化的重要途徑。通過(guò)做活大數(shù)據(jù)，激活數(shù)據(jù)要素價(jià)值，加快業(yè)務(wù)數(shù)據(jù)化、數(shù)據(jù)業(yè)務(wù)化，深化大數(shù)據(jù)應(yīng)用創(chuàng)新勢(shì)在必行。

以運(yùn)營(yíng)商行業(yè)網(wǎng)絡(luò)數(shù)據(jù)處理技術(shù)應(yīng)用為例，通過(guò)智能分析和挖掘用戶(hù)使用業(yè)務(wù)感知、設(shè)備信息、網(wǎng)絡(luò)質(zhì)量等海量數(shù)據(jù)，提煉價(jià)值信息和規(guī)律性模式，不僅有助提升運(yùn)營(yíng)商的服務(wù)質(zhì)量、商業(yè)決策、安全防護(hù)效果，也可以為政務(wù)、金融、新零售等多個(gè)行業(yè)提供高價(jià)值大數(shù)據(jù)產(chǎn)品，為行業(yè)數(shù)字化轉(zhuǎn)型賦能。

攜手鯤鵬，夯實(shí)數(shù)字基座

(資料圖)

中國(guó)聯(lián)通智網(wǎng)創(chuàng)新中心緊密?chē)@集團(tuán)全面數(shù)字化轉(zhuǎn)型要求，以“強(qiáng)基固本、守正創(chuàng)新、融合開(kāi)放”的新戰(zhàn)略為指導(dǎo)，持續(xù)探索大數(shù)據(jù)技術(shù)創(chuàng)新和應(yīng)用。

在海量數(shù)據(jù)加工領(lǐng)域，為避免核心技術(shù)“卡脖子”成為制約創(chuàng)新發(fā)展的阻力，智網(wǎng)創(chuàng)新中心大數(shù)據(jù)團(tuán)隊(duì)堅(jiān)持沉淀創(chuàng)新研發(fā)技術(shù)，近日，成功開(kāi)發(fā)了國(guó)內(nèi)首個(gè)全棧自主創(chuàng)新大數(shù)據(jù)解決方案，該方案基于鯤鵬構(gòu)建算力平臺(tái)，提供10萬(wàn)個(gè)計(jì)算核心，軟件層基于開(kāi)源Flink+Hadoop自研，具備獨(dú)立自主、開(kāi)源開(kāi)放、存算分離、批流一體的優(yōu)勢(shì)。方案通過(guò)將領(lǐng)先的大數(shù)據(jù)技術(shù)和豐富的最佳實(shí)踐相結(jié)合，提供了多項(xiàng)核心功能：

? 構(gòu)建模塊化、分層化、工程化DPI數(shù)據(jù)加工軟件框架，支持?jǐn)?shù)據(jù)實(shí)時(shí)計(jì)算和入庫(kù)(上億QPS)；

?構(gòu)建DPI數(shù)據(jù)的分層公共數(shù)據(jù)模型，通過(guò)數(shù)據(jù)服務(wù)化的方式支撐前端數(shù)據(jù)應(yīng)用，支持?jǐn)?shù)據(jù)的復(fù)用和共享；

?提供全鏈路的數(shù)據(jù)質(zhì)量稽核監(jiān)控，支持?jǐn)?shù)據(jù)一致性、完整性、正確性和及時(shí)性的監(jiān)控，第一時(shí)間問(wèn)題“早發(fā)現(xiàn)，早恢復(fù)”；

?提供多樣化數(shù)據(jù)應(yīng)用產(chǎn)品，支持用戶(hù)級(jí)感知詳單實(shí)時(shí)輸出和全國(guó)重點(diǎn)區(qū)域網(wǎng)絡(luò)質(zhì)量和感知質(zhì)量準(zhǔn)實(shí)時(shí)流式輸出。

方案實(shí)現(xiàn)了對(duì)網(wǎng)絡(luò)全域數(shù)據(jù)的集中采集、存儲(chǔ)、加工、分析，面向全國(guó)一點(diǎn)提供網(wǎng)絡(luò)數(shù)據(jù)服務(wù)，構(gòu)筑起聯(lián)通網(wǎng)絡(luò)創(chuàng)新與數(shù)字化運(yùn)營(yíng)轉(zhuǎn)型的堅(jiān)實(shí)基座，并進(jìn)一步激發(fā)大數(shù)據(jù)在更多行業(yè)應(yīng)用的巨大潛力。

強(qiáng)基固本，深化融合創(chuàng)新

智網(wǎng)創(chuàng)新中心基于鯤鵬的大數(shù)據(jù)解決方案在行業(yè)中已形成了一定的先發(fā)優(yōu)勢(shì)，持續(xù)構(gòu)建自主、可靠、領(lǐng)先的大數(shù)據(jù)技術(shù)能力是根本。

全棧、全流程獨(dú)立自主：鯤鵬硬件和大數(shù)據(jù)核心軟件自主創(chuàng)新，可持續(xù)演進(jìn)；核心人員編排全自有；從方案設(shè)計(jì)到生產(chǎn)上線(xiàn)全獨(dú)立自主部署

超大規(guī)模集群：共計(jì)部署1100臺(tái)鯤鵬服務(wù)器，配置存儲(chǔ)容量100 PB，內(nèi)存容量600 TB，以及10萬(wàn)CPU，具備處理海量數(shù)據(jù)和高并發(fā)計(jì)算方面的強(qiáng)大能力，并采用了多層次的故障切換和備份機(jī)制，保證系統(tǒng)的高可靠性

核心軟件性能大幅提升：Flink采用“預(yù)加載維表關(guān)聯(lián)”優(yōu)化方法，維表對(duì)象總內(nèi)存占用降低90%，算子對(duì)外部數(shù)據(jù)庫(kù)的查詢(xún)連接數(shù)減少90%；自主研發(fā)批量文件數(shù)據(jù)源接入方法，數(shù)據(jù)源接入時(shí)延減少50%，降低文件系統(tǒng)壓力，增強(qiáng)系統(tǒng)魯棒性；基于小文件優(yōu)化策略創(chuàng)新，文件數(shù)量減少80%，大大降低NameNode壓力，提升HDFS性能，增大數(shù)據(jù)保存周期等。

聯(lián)合創(chuàng)新實(shí)現(xiàn)性能超越：智網(wǎng)中心聯(lián)合華為基于鯤鵬大數(shù)據(jù)OmniRuntime套件算子下推、算子加速等新特性，在鯤鵬大數(shù)據(jù)平臺(tái)能夠?qū)崿F(xiàn)查詢(xún)效率相比現(xiàn)有平臺(tái)提升53%。

數(shù)據(jù)賦能，創(chuàng)新場(chǎng)景應(yīng)用

當(dāng)前，智網(wǎng)創(chuàng)新中心基于鯤鵬的大數(shù)據(jù)解決方案已廣泛應(yīng)用，為疫情防控、抗震救災(zāi)、應(yīng)急救援、防汛搶險(xiǎn)、司法矯正、反欺詐等場(chǎng)景，供給高質(zhì)量數(shù)據(jù)能力，支撐國(guó)家部委及政府工作，履行央企責(zé)任。為智慧信息、數(shù)睿廣告等多個(gè)公司行業(yè)大數(shù)據(jù)產(chǎn)品提供高品質(zhì)核心數(shù)據(jù)，不斷為聯(lián)通帶來(lái)新的業(yè)務(wù)增長(zhǎng)點(diǎn)。應(yīng)用于集團(tuán)內(nèi)部，賦能中國(guó)聯(lián)通網(wǎng)絡(luò)精準(zhǔn)建設(shè)、精準(zhǔn)優(yōu)化、智慧客服、端網(wǎng)業(yè)協(xié)同等數(shù)字化轉(zhuǎn)型工作，實(shí)現(xiàn)降本增效。

未來(lái)，中國(guó)聯(lián)通智網(wǎng)創(chuàng)新中心將持續(xù)瞄準(zhǔn)大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)等技術(shù)前沿，基于鯤鵬研發(fā)網(wǎng)絡(luò)創(chuàng)新產(chǎn)品、賦能網(wǎng)絡(luò)運(yùn)營(yíng)轉(zhuǎn)型、催化網(wǎng)絡(luò)能力增值，打造全球領(lǐng)先的技術(shù)研發(fā)與服務(wù)平臺(tái)，面向全聯(lián)通、面向全行業(yè)提供互聯(lián)網(wǎng)及信息服務(wù)，提升產(chǎn)業(yè)供給能力和行業(yè)賦能效應(yīng)，助力數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展。

關(guān)鍵詞：