每日看點(diǎn)!奇安信：正在訓(xùn)練公司專有的類ChatGPT安全大模型

（CWW）OpenAI 發(fā)布的人工智能聊天機(jī)器人ChatGPT，上線2個(gè)月活躍用戶就突破了1億，成為全球關(guān)注的焦點(diǎn)。奇安信人工智能研究院負(fù)責(zé)人表示，公司正在基于ChatGPT相關(guān)技術(shù)和自身積累的海量安全知識(shí)和數(shù)據(jù)，訓(xùn)練奇安信專有的類ChatGPT安全大模型。未來(lái)將廣泛應(yīng)用于安全產(chǎn)品開發(fā)、威脅檢測(cè)、漏洞挖掘、安全運(yùn)營(yíng)及自動(dòng)化、攻防對(duì)抗、反病毒、威脅情報(bào)分析和運(yùn)營(yíng)、涉網(wǎng)犯罪分析等領(lǐng)域。

上述負(fù)責(zé)人表示，ChatGPT是使用互聯(lián)網(wǎng)數(shù)據(jù)及部分由標(biāo)注人員人工編寫的對(duì)話數(shù)據(jù)，利用人類反饋強(qiáng)化學(xué)習(xí)（RLHF）技術(shù)及自有的GPT3.5大模型進(jìn)行訓(xùn)練而成的。奇安信團(tuán)隊(duì)對(duì)于相關(guān)的強(qiáng)化學(xué)習(xí)、大語(yǔ)言模型等技術(shù)，已經(jīng)有長(zhǎng)時(shí)間的實(shí)踐，并取得了多項(xiàng)成果。
如同其他人工智能模型一樣，ChatGPT對(duì)網(wǎng)絡(luò)安全是把雙刃劍，既可以是網(wǎng)絡(luò)釣魚、惡意軟件生成、社工攻擊的強(qiáng)大工具，也成為網(wǎng)絡(luò)防御者的有力助手。

一方面，眾多安全專家警告，由 OpenAI 開發(fā)并免費(fèi)在線提供的ChatGPT，隱藏著眾多潛在網(wǎng)絡(luò)安全風(fēng)險(xiǎn)，可能構(gòu)成嚴(yán)重的網(wǎng)絡(luò)安全威脅。網(wǎng)絡(luò)攻擊者已開始使用ChatGPT來(lái)創(chuàng)建惡意軟件、暗網(wǎng)站點(diǎn)和其他實(shí)施網(wǎng)絡(luò)攻擊的工具。同時(shí)有越來(lái)越多的證據(jù)表明，ChatGPT也可以成為網(wǎng)絡(luò)防御者的強(qiáng)大武器。

【資料圖】

ChatGPT：改變網(wǎng)絡(luò)威脅格局的黑客新工具？

長(zhǎng)期以來(lái)，很多網(wǎng)絡(luò)安全專業(yè)人士一直對(duì)人工智能的作用持懷疑態(tài)度，習(xí)慣于嘲笑相關(guān)企業(yè)對(duì)于人工智能作用的大肆宣傳（夸大）。人工智能技術(shù)在識(shí)別安全威脅方面發(fā)揮了重要的價(jià)值，但事實(shí)證明，很多解決方案遠(yuǎn)沒(méi)有宣傳的那么實(shí)用，而是被營(yíng)銷團(tuán)隊(duì)夸大了。

對(duì)于火熱的ChatGPT，網(wǎng)絡(luò)安全專業(yè)人士給予了前所未有的關(guān)注。ChatGPT 亮相僅數(shù)周，網(wǎng)絡(luò)安全公司 Check Point就利用聊天機(jī)器人ChatGPT，結(jié)合OpenAI 的代碼編寫系統(tǒng) Codex，生成了能攜帶惡意載荷、編寫巧妙的網(wǎng)絡(luò)釣魚郵件。Check Point 創(chuàng)建的網(wǎng)絡(luò)釣魚電子郵件，附有 Excel 文檔，其中包含將反向 shell 下載到受害者系統(tǒng)的惡意代碼。

Check Point安全專家認(rèn)為，這表明 ChatGPT 有“顯著改變網(wǎng)絡(luò)威脅格局的潛力”，代表著“日益復(fù)雜的網(wǎng)絡(luò)能力在危險(xiǎn)演化上又向前邁進(jìn)了一步”。

利用ChatGPT 生成的釣魚郵件

威脅情報(bào)公司 Recorded Future 的研究人員在最新報(bào)告中表示，使用ChatGPT編寫用于網(wǎng)絡(luò)攻擊的惡意軟件代碼，降低了攻擊者的編程或技術(shù)能力門檻 。根據(jù)報(bào)告，“只要對(duì)網(wǎng)絡(luò)安全和計(jì)算機(jī)科學(xué)的基礎(chǔ)知識(shí)有基本了解，就可借助ChatGPT實(shí)施網(wǎng)絡(luò)攻擊。Palo Alto Networks公司的安全專家Sean Duca也認(rèn)為：“ChatGPT降低了網(wǎng)絡(luò)犯罪的門檻”——即使沒(méi)有技術(shù)，也能成為攻擊者。其帶來(lái)的網(wǎng)絡(luò)威脅還有可能蔓延到異次元。
目前網(wǎng)絡(luò)釣魚即服務(wù) (PhaaS) 和勒索軟件即服務(wù) (RaaS)可以向攻擊者提供收費(fèi)工具包，使其可以輕松實(shí)施攻擊。而現(xiàn)在ChatGPT則使網(wǎng)絡(luò)犯罪活動(dòng)正經(jīng)歷另一種演變：利用ChatGPT面向公眾免費(fèi)開放的服務(wù)，更多危險(xiǎn)正在萌芽，這加劇了對(duì)于未來(lái)安全風(fēng)險(xiǎn)的憂慮。

Recorded Future 在報(bào)告中表示，網(wǎng)絡(luò)犯罪分子使用 ChatGPT 造成的“最緊迫和常見(jiàn)的威脅”主要包括網(wǎng)絡(luò)釣魚、社會(huì)工程和惡意軟件開發(fā)。

（1）網(wǎng)絡(luò)釣魚

根據(jù)HP Wolf Security的研究，網(wǎng)絡(luò)釣魚占惡意軟件攻擊的近 90% 。ChatGPT 使情況變得更糟：它在模仿人類書寫方面的專長(zhǎng)，使其可能成為強(qiáng)大的網(wǎng)絡(luò)釣魚工具，尤其對(duì)英語(yǔ)不流利的攻擊者特別有用。

撰寫出色的網(wǎng)絡(luò)釣魚電子郵件是一門藝術(shù)和科學(xué)。借助ChatGPT，編寫釣魚郵件會(huì)變得更容易，且沒(méi)有任何拼寫錯(cuò)誤或奇怪的格式，而這些通常是區(qū)分釣魚與合法郵件的關(guān)鍵。攻擊者可以借助ChatGPT創(chuàng)造多種釣魚郵件，例如“使郵件看起來(lái)很緊急”、“收件人點(diǎn)擊鏈接的可能性很高的郵件”、“請(qǐng)求匯款的社工郵件”等。

Akamai Technologies 首席技術(shù)官兼執(zhí)行副總裁 Robert Blumofe表示：“ChatGPT使攻擊者能有效地將普通釣魚的數(shù)量與魚叉式網(wǎng)絡(luò)釣魚（定向）的高收益結(jié)合起來(lái)?！?普通網(wǎng)絡(luò)釣魚的規(guī)模很大，以電子郵件、短信和社交媒體帖子的形式發(fā)送數(shù)百萬(wàn)個(gè)誘餌。但這類通用的形式，容易被發(fā)現(xiàn)，往往回報(bào)較低。魚叉式網(wǎng)絡(luò)釣魚利用社會(huì)工程，創(chuàng)建具有更高回報(bào)的針對(duì)性和定制化的誘餌，但因需要大量的人工投入，因而數(shù)量較少。借助 ChatGPT 生成網(wǎng)絡(luò)誘餌，攻擊者就可以實(shí)現(xiàn)事半功倍的效果。

（2）惡意軟件生成

目前安全人員已發(fā)現(xiàn)網(wǎng)絡(luò)攻擊者使用 ChatGPT 來(lái)開發(fā)惡意軟件。盡管ChatGPT 的設(shè)置阻止其直接做惡，比如詳細(xì)說(shuō)明如何制造炸彈或編寫惡意代碼，但多個(gè)研究人員已經(jīng)找到方法，能繞開和規(guī)避ChatGPT為防止濫用而設(shè)置的規(guī)則。BugCrowd 首席技術(shù)官、創(chuàng)始人兼董事長(zhǎng)Casey John Ellis將 ChatGPT 的出現(xiàn)稱為對(duì)抗性 AI/機(jī)器學(xué)習(xí)知識(shí)領(lǐng)域的“糟糕”時(shí)刻。

在地下黑客論壇上，網(wǎng)絡(luò)攻擊者展示如何使用ChatGPT創(chuàng)建新的木馬。只要簡(jiǎn)要地描述所需的功能（“將所有密碼保存在文件X中，并通過(guò)HTTP POST發(fā)送到服務(wù)器Y”），就可以得到簡(jiǎn)單的信息竊取器，而不需要任何編程技能。考慮到已經(jīng)有犯罪集團(tuán)提供惡意軟件即服務(wù)，在 ChatGPT 等人工智能程序的幫助下，攻擊者借助人工智能生成的代碼發(fā)起網(wǎng)絡(luò)攻擊可能會(huì)變得更快、更容易。ChatGPT 賦予甚至經(jīng)驗(yàn)不足的攻擊者編寫更準(zhǔn)確的惡意軟件代碼的能力，而這在以前只能由專家來(lái)完成。ChatGPT 的代碼編寫質(zhì)量好壞參半，但無(wú)疑可以加速惡意軟件的開發(fā)。

Recorded Future在暗網(wǎng)和封閉論壇發(fā)現(xiàn)了 1,500 多條關(guān)于在惡意軟件開發(fā)和概念驗(yàn)證代碼創(chuàng)建中使用 ChatGPT 的資料。其中包括利用開源庫(kù)發(fā)現(xiàn)的惡意代碼對(duì) ChatGPT 進(jìn)行培訓(xùn)，以生成可逃避病毒檢測(cè)的惡意代碼不同變體，以及使用 ChatGPT 創(chuàng)建惡意軟件配置文件并設(shè)置命令和控制系統(tǒng)。值得注意的是，根據(jù)Recorded Future 研究人員的說(shuō)法，ChatGPT 還可以用于生成惡意軟件有效載荷。研究團(tuán)隊(duì)已經(jīng)確定了 ChatGPT 可以有效生成的幾種惡意軟件有效負(fù)載，包括信息竊取器、遠(yuǎn)程訪問(wèn)木馬和加密貨幣竊取器。

當(dāng)然ChatGPT 并不是編寫惡意軟件的專家，它生成的惡意代碼可能存在細(xì)微的錯(cuò)誤和邏輯缺陷，從而降低其有效性。這意味著生成高質(zhì)量的惡意代碼顯然離不開攻擊者專業(yè)知識(shí)的支撐。

（3）社會(huì)工程

ChatGPT 作為由 OpenAI 訓(xùn)練的大型語(yǔ)言模型，能夠生成可用于多種用途的類人文本。其中一種用途是在社會(huì)工程攻擊領(lǐng)域。社會(huì)工程攻擊是一種依靠心理操縱來(lái)誘騙人們泄露敏感信息或執(zhí)行某些操作的策略。這可以通過(guò)各種方式完成，包括網(wǎng)絡(luò)釣魚詐騙、借口和其他形式的欺騙。

ChatGPT 和其他基于GPT-3的工具使社會(huì)工程攻擊能夠從其“創(chuàng)造力和對(duì)話方法”中受益。就像互聯(lián)網(wǎng)為網(wǎng)絡(luò)犯罪分子消除物理障礙一樣，這些工具的修辭能力可以消除文化障礙。

研究人員發(fā)現(xiàn)，ChatGPT 等GPT-3工具使犯罪分子能夠逼真地模擬各種社會(huì)環(huán)境，從而使任何針對(duì)性的通信攻擊都更加有效。GPT-3這類語(yǔ)言模型提供支持的工具，使攻擊者更易誘騙受害者提供敏感信息或下載惡意軟件，加速?gòu)木W(wǎng)絡(luò)釣魚到傳播仇恨言論的所有級(jí)別和目的的社會(huì)工程攻擊。

總的來(lái)說(shuō)，ChatGPT 生成類人文本的能力可以成為社會(huì)工程攻擊的強(qiáng)大工具。通過(guò)創(chuàng)建令人信服的消息，ChatGPT 可用于操縱個(gè)人泄露敏感信息或執(zhí)行某些操作。未來(lái)需要更多人意識(shí)到ChatGPT 的這種潛在用途，在與未知來(lái)源互動(dòng)時(shí)保持謹(jǐn)慎。

ChatGPT同樣是安全防護(hù)的福音

與所有技術(shù)一樣，ChatGPT 本身是一把雙刃劍。盡管越來(lái)越多的研究人員認(rèn)為ChatGPT 可能成為黑客的盟友，但這一可生成不良內(nèi)容的工具，也可以用來(lái)幫助安全人員提高效率，提高惡意信息識(shí)別、抵御網(wǎng)絡(luò)攻擊的能力，這主要包括釣魚檢測(cè)、漏洞發(fā)現(xiàn)和安全事件響應(yīng)。

（1）網(wǎng)絡(luò)釣魚檢測(cè)

2022 年 11 月，知名《安全雜志》報(bào)告稱，2022年前 11 個(gè)月發(fā)生 2.55 億次釣魚攻擊，同比2021 年激增了 61%。人是安全鏈中最薄弱的環(huán)節(jié)，掌握著訪問(wèn)敏感數(shù)據(jù)的密鑰。攻擊者往往利用定制的釣魚郵件來(lái)獲取對(duì)敏感數(shù)據(jù)的訪問(wèn)權(quán)限。

ChatGPT 可以被攻擊者創(chuàng)造釣魚郵件，同樣可以從大型語(yǔ)言模型中學(xué)習(xí)，幫助組織識(shí)別和標(biāo)記釣魚郵件，在郵件進(jìn)入收件人的收件箱之前就可以進(jìn)行標(biāo)記，從而顯著降低網(wǎng)絡(luò)釣魚活動(dòng)成功的機(jī)會(huì)。網(wǎng)絡(luò)安全專業(yè)人員還可以利用 ChatGPT 來(lái)訓(xùn)練網(wǎng)絡(luò)釣魚檢測(cè)系統(tǒng)，以識(shí)別與這些攻擊相關(guān)的模式和語(yǔ)言。以便提高網(wǎng)絡(luò)釣魚檢測(cè)系統(tǒng)的效率和有效性。

（2）漏洞發(fā)現(xiàn)

ChatGPT 可用于幫助發(fā)現(xiàn)組織使用軟件和系統(tǒng)中的新漏洞。網(wǎng)絡(luò)安全行業(yè)已經(jīng)面臨控制大量安全漏洞的挑戰(zhàn)。人工智能將會(huì)把安全漏洞數(shù)字推得更高，因?yàn)樗梢愿?、更智能地發(fā)現(xiàn)漏洞。

安全人員可以使用 ChatGPT 快速生成大量獨(dú)特的輸入，使網(wǎng)絡(luò)安全專業(yè)人員能夠識(shí)別以前未檢測(cè)到和未知的漏洞。同時(shí)，還使用新獲得的知識(shí)和信息來(lái)提高軟件和系統(tǒng)的安全性，實(shí)施更有效的安全控制，或改進(jìn)當(dāng)前的安全措施和實(shí)踐。

ChatGPT它與用戶的專業(yè)水平相結(jié)合，可以使用戶能夠快速學(xué)習(xí)并有效地采取行動(dòng)。就像應(yīng)用程序的在線幫助可以解決問(wèn)題一樣，用戶可以從ChatGPT獲得特定漏洞的更多信息以及如何緩解辦法。

未來(lái)隨著，ChatGPT模型代碼理解能力的提高，安全防護(hù)人員可以詢問(wèn)軟件代碼的副作用，將其作為開發(fā)伙伴，可以顯著提升軟件代碼的安全水平。

隨著ChatGPT人工智能模型的演進(jìn)，有可能實(shí)現(xiàn)漏洞檢測(cè)和修復(fù)的自動(dòng)化和/或半自動(dòng)化，以及基于風(fēng)險(xiǎn)的優(yōu)先級(jí)。這對(duì)于面臨資源限制的 IT 和安全團(tuán)隊(duì)來(lái)說(shuō)將是非常有吸引力的應(yīng)用。

（3）事件分析與響應(yīng)

ChatGPT 還可以在檢測(cè)和響應(yīng)網(wǎng)絡(luò)攻擊，以及改善組織內(nèi)部的溝通方面發(fā)揮關(guān)鍵作用。

埃森哲的安全研究人員一直在嘗試?yán)?ChatGPT 的功能，實(shí)現(xiàn)網(wǎng)絡(luò)防御自動(dòng)化的工作。熟練的安全專業(yè)人員，網(wǎng)絡(luò)安全專業(yè)人員負(fù)擔(dān)過(guò)重，ChatGPT實(shí)現(xiàn)一些安全工作的自動(dòng)化將會(huì)給不堪重負(fù)的安全團(tuán)隊(duì)帶來(lái)福音，同時(shí)還有助于“消除信號(hào)中的一些噪音”

多年來(lái)，安全運(yùn)營(yíng)領(lǐng)域在很多方面一直停滯不前，分析師收到了大量、過(guò)載的信息。通常，安全分析師收到潛在安全事件的警報(bào)后，會(huì)提取數(shù)據(jù)以便能“講出故事”，同時(shí)判讀是否為真正的攻擊。這通常需要大量手動(dòng)工作，或者需要使用 SOAR（安全編排、自動(dòng)化和響應(yīng)）工具將相關(guān)工作進(jìn)行整合。

ChatGPT在這方面展示獨(dú)特的優(yōu)勢(shì)：在從安全運(yùn)營(yíng)平臺(tái)獲取數(shù)據(jù)后，ChatGPT 會(huì)生成非常好的摘要，幾乎就像人類分析師在審查后所形成的報(bào)告。埃森哲的研究表明，ChatGPT從安全信息和事件管理 (SIEM) 工具中獲取數(shù)據(jù)輸出并進(jìn)行處理可以快速生成安全事件的“故事”。相比人類分析師，ChatGPT可以更快地從數(shù)據(jù)中創(chuàng)建有關(guān)安全事件的清晰畫面。最終，這些可以幫助安全團(tuán)隊(duì)做出更好的安全決策。

ChatGPT的未來(lái)：以人工智能對(duì)抗人工智能

對(duì)ChatGPT 未來(lái)在網(wǎng)絡(luò)安全中扮演什么角色、有什么影響，我們很難進(jìn)行準(zhǔn)確的預(yù)測(cè)。這取決于它的使用方式以及使用的意圖。來(lái)自人工智能的威脅并不是新問(wèn)題，只是 ChatGPT 展示了一些看起來(lái)很可怕的應(yīng)用。對(duì)于網(wǎng)絡(luò)安全人士來(lái)說(shuō)，重要的是要及時(shí)意識(shí)到ChatGPT的潛在風(fēng)險(xiǎn)并及時(shí)采取適當(dāng)?shù)拇胧﹣?lái)應(yīng)對(duì)。

安全專家預(yù)測(cè)，國(guó)家背景的黑客將率先在網(wǎng)絡(luò)攻擊中利用ChatGPT，而該技術(shù)最終會(huì)在更多的攻擊組織得到大規(guī)模的使用。信息安全專家需要開始開發(fā)能夠抵御此類攻擊的系統(tǒng)。

從網(wǎng)絡(luò)安全防護(hù)的角度來(lái)看，機(jī)構(gòu)可以采取針對(duì)性的應(yīng)對(duì)措施。對(duì)ChatGPT等類似模型進(jìn)行培訓(xùn)，標(biāo)記惡意的活動(dòng)和惡意代碼；同時(shí)對(duì)其設(shè)置難以繞過(guò)護(hù)欄。對(duì)于ChatGPT引發(fā)的威脅，可以向員工提供新型的網(wǎng)絡(luò)意識(shí)培訓(xùn)，掌握識(shí)別社會(huì)工程攻擊的知識(shí)，以便識(shí)別ChatGPT等人工智能工具所創(chuàng)造的釣魚攻擊。

當(dāng)然僅僅是這樣還不夠。ChatGPT等人工智能工具會(huì)以比人類罪犯更快的速度制造出新的、日益智能的威脅，傳播威脅的速度也會(huì)將超過(guò)網(wǎng)絡(luò)安全人員的反應(yīng)速度。對(duì)于機(jī)構(gòu)來(lái)說(shuō)，跟上這一變化速度的唯一方法是通過(guò)使用人工智能來(lái)應(yīng)對(duì)人工智能。

一方面，網(wǎng)絡(luò)安全行業(yè)的研究人員、從業(yè)者、學(xué)術(shù)和企業(yè)可以利用 ChatGPT 的力量進(jìn)行創(chuàng)新和協(xié)作，包括漏洞發(fā)現(xiàn)、事件響應(yīng)和釣魚檢測(cè)。此外，隨著ChatGPT 等類似工具的發(fā)展，未來(lái)開發(fā)新的網(wǎng)絡(luò)安全工具更加重要。安全企業(yè)應(yīng)更積極地開發(fā)和部署基于行為（而非規(guī)則）的AI安全工具，來(lái)檢測(cè)人工智能生成的攻擊。網(wǎng)絡(luò)安全僅使用規(guī)則驅(qū)動(dòng)的框架來(lái)檢測(cè)潛在的網(wǎng)絡(luò)威脅。行為分析通過(guò)使用復(fù)雜的機(jī)器學(xué)習(xí)算法來(lái)分析整個(gè)企業(yè)的用戶和實(shí)體數(shù)據(jù)，識(shí)別具有風(fēng)險(xiǎn)的外行為，從而實(shí)現(xiàn)以人為本的防御。為了更好地保護(hù)機(jī)構(gòu)免受這些新型攻擊，是時(shí)候發(fā)展和部署基于行為的 AI檢測(cè)工具了。

安全研究人員認(rèn)為，展望未來(lái)，ChatGPT 也可能是一個(gè)信號(hào)，表明距離網(wǎng)絡(luò)防御決策的更高自動(dòng)化不再遙遠(yuǎn)。

關(guān)鍵詞： ChatGPT 安全大模型 人工智能