摘要：

在紛繁復(fù)雜、光怪陸離的數(shù)字世界，漏洞的必然存在和入侵的不可避免，使網(wǎng)絡(luò)安全成為永恒的話題。無論在入侵者還是防御者眼里，都在尋求有力的武器。AI技術(shù)的出現(xiàn)，在自動(dòng)化助力上，能顯著提升攻防雙方的能力基線。

未來已來，機(jī)器智能對(duì)抗是新網(wǎng)絡(luò)安全時(shí)代的選擇。本文詳細(xì)闡述了，AI在網(wǎng)絡(luò)安全應(yīng)用的必要性、可行性、應(yīng)用實(shí)踐，以及經(jīng)驗(yàn)總結(jié)。從專家知識(shí)經(jīng)驗(yàn)到安全數(shù)據(jù)利用，從安全左右腦的雙輪驅(qū)動(dòng)，到多方知識(shí)協(xié)同，打造抵御多方位立體化攻擊的安全長(zhǎng)城。

網(wǎng)絡(luò)安全的問題源自何方？

安全問題的本源：系統(tǒng)中蘊(yùn)含超出設(shè)計(jì)意圖的輸入、中間過程和輸出。一個(gè)簡(jiǎn)單的函數(shù)設(shè)計(jì)，功能點(diǎn)是：特定的輸入下的特定的輸出。實(shí)現(xiàn)時(shí)候，可以采用不同的內(nèi)部邏輯，都能實(shí)現(xiàn)此功能點(diǎn)。良好的設(shè)計(jì)，會(huì)充分考慮例外的輸入，不同中間過程中的異常處理，以及非預(yù)期輸出的處理。但實(shí)際開發(fā)過程，由于開發(fā)能力、進(jìn)度壓力、邏輯復(fù)雜度大等各方因素下，會(huì)有各種設(shè)計(jì)意圖外的副效應(yīng)，而這些副效應(yīng)會(huì)成為系統(tǒng)的漏洞，并被利用產(chǎn)生非預(yù)期的行為。

對(duì)于需要大量人員參與、大量邏輯迭代構(gòu)建的系統(tǒng)，其復(fù)雜度呈指數(shù)上升，就會(huì)在某種程度上超出設(shè)計(jì)者的能力控制范圍。

系統(tǒng)的漏洞不可避免，不可杜絕。任何的系統(tǒng)都必然存在漏洞，有漏洞就可能會(huì)被入侵。

不夸張，不粉飾，如何客觀看待當(dāng)下網(wǎng)絡(luò)安全的真實(shí)存在？

傳統(tǒng)基于靜態(tài)規(guī)則和簽名、簡(jiǎn)單行為識(shí)別武裝起來的防御系統(tǒng)，可以抵御常規(guī)攻擊，但在有計(jì)劃投入的黑客組織的持續(xù)攻擊下，基本是透明的。近年來國(guó)際安全行業(yè)針對(duì)“assume breach”形成共識(shí)，是否被入侵成功，只取決于自身的商業(yè)和政治價(jià)值以及入侵的成本。在高價(jià)值目標(biāo)里，入侵是已經(jīng)客觀的存在，并將長(zhǎng)期存在。所以，從危害程度看，內(nèi)網(wǎng)安全防護(hù)會(huì)是未來的重中之重。

同時(shí)隨著萬物互聯(lián)的智能世界的到來，網(wǎng)絡(luò)攻擊日益增多且越來越自動(dòng)化、智能化。復(fù)雜的攻擊可以自動(dòng)檢測(cè)環(huán)境，從而混淆、躲避和變種；高度自動(dòng)化的工具使攻擊變得更加聰明，傳統(tǒng)防御策略是無法處理這些問題。安全團(tuán)隊(duì)的人力會(huì)淹沒在大量的告警事件中，產(chǎn)生告警疲勞，從而難以及時(shí)識(shí)別和應(yīng)對(duì)真正的威脅。

網(wǎng)絡(luò)安全的現(xiàn)實(shí)困局是：

1、組織內(nèi)安全專家人力和知識(shí)不對(duì)等，

2、專業(yè)安全設(shè)備的應(yīng)用復(fù)雜度高，導(dǎo)致對(duì)網(wǎng)絡(luò)威脅根本視而不見或者即使見也無力處置，干脆當(dāng)個(gè)腦袋埋入沙堆的鴕鳥，麻木不仁、聽天由命，直到產(chǎn)生巨大危害的那一天。

漏洞的必然存在，和威脅入侵的不可避免，如何保衛(wèi)數(shù)字世界的安全呢？

如果把網(wǎng)絡(luò)世界的安全看做是一場(chǎng)攻防戰(zhàn)爭(zhēng)，攻防各方首先都要有強(qiáng)大的軍備。在這個(gè)軍備清單里AI會(huì)是關(guān)鍵武器。作為新時(shí)代的電力，它將發(fā)光并照耀整個(gè)真實(shí)及虛擬的世界。

在網(wǎng)絡(luò)安全領(lǐng)域，傳統(tǒng)防御模式的假設(shè)是：所有攻擊場(chǎng)景都是已知的，每種攻擊場(chǎng)景和應(yīng)對(duì)策略一一對(duì)應(yīng)，那么基于規(guī)則的系統(tǒng)便可高效地運(yùn)行。類似于中國(guó)武術(shù)的散打表演，按照固定套路來。

但現(xiàn)實(shí)是殘酷的。

隨著大數(shù)據(jù)時(shí)代的到來，黑客的攻擊手段日趨復(fù)雜與多樣，新型病毒和病毒變種層出不窮。例如2017年勒索病毒W(wǎng)annaCry席卷全球，150多個(gè)國(guó)家遭遇攻擊。WannaCry爆發(fā)后，依然不斷有黑客修改該病毒，新型病毒及變種不斷涌現(xiàn)，勒索病毒已成為威脅互聯(lián)網(wǎng)安全的一大毒瘤。

AI作為信息世界的最新技術(shù)，也已經(jīng)被具有創(chuàng)新精神的黑客組織采用來武裝自己。面對(duì)這些瘋狂且極具創(chuàng)新顛覆意識(shí)的對(duì)手，傳統(tǒng)防御技術(shù)已無法跟上快速演進(jìn)的攻擊和威脅。不要說新型未知威脅，即使對(duì)于已有的安全漏洞的攻擊變種，也很難及時(shí)發(fā)現(xiàn)并有效處置。

同時(shí)，國(guó)內(nèi)網(wǎng)絡(luò)安全市場(chǎng)正在經(jīng)歷一場(chǎng)場(chǎng)轉(zhuǎn)變。從注重安全合規(guī)，向注重效果轉(zhuǎn)變；從原來的流于表面的安全設(shè)備購置和部署匹配，向注重實(shí)戰(zhàn)的攻防演練、調(diào)查問責(zé)轉(zhuǎn)變。網(wǎng)絡(luò)安全的建設(shè)模式，也從被動(dòng)防御轉(zhuǎn)為主動(dòng)能力建設(shè)。整個(gè)網(wǎng)絡(luò)安全行業(yè)最終進(jìn)入基于AI的機(jī)器智能對(duì)抗時(shí)代：誰擁有更多的AI能力和攻防知識(shí)，誰的獲勝面就更大。

AI是一種機(jī)器展現(xiàn)的智能。理想的智能機(jī)器能夠感知周圍環(huán)境，并采取行動(dòng)以最大可能達(dá)成特定目標(biāo)。教科書對(duì)AI的經(jīng)典定義是：

1、象人一樣行動(dòng)、象人一樣思考；

2、合理地思考、合理地行動(dòng)。

在網(wǎng)絡(luò)安全領(lǐng)域的AI應(yīng)用可以定義為替代安全專家能力的自動(dòng)化技術(shù)

當(dāng)前，促成AI在網(wǎng)絡(luò)安全領(lǐng)域應(yīng)用的要素都已經(jīng)集齊：

1、高性能計(jì)算AI芯片；

2、大量可采集的數(shù)據(jù)、日志和安全事件；

3、AI算法近年來的突飛猛進(jìn)，聚集這個(gè)時(shí)代大量最優(yōu)秀的大腦。無論傳統(tǒng)機(jī)器學(xué)習(xí)、貝葉斯網(wǎng)絡(luò)、知識(shí)圖譜，還是深度學(xué)習(xí)、圖計(jì)算，在各行各業(yè)都得到充分的實(shí)踐。

即使上述條件成立，人們還是會(huì)有疑惑：在極具個(gè)人英雄主義色彩的安全攻防領(lǐng)域，面對(duì)新型威脅的創(chuàng)新不斷和靈活多變的網(wǎng)絡(luò)攻擊套路，在攻防雙方成本嚴(yán)重不均衡的博弈場(chǎng)景下：

AI是否具備解決網(wǎng)絡(luò)安全問題的條件并真能成為關(guān)鍵武器呢？

首先，判斷待解決問題的背后，解是否存在。世界是稀疏的，世界萬事萬物背后都會(huì)有一定規(guī)則在起著作用，包括大自然的作品和人類的所有作品都一樣。物理世界，從量子力學(xué)看，微觀上是由不確定性原理和薛定諤方程的概率波統(tǒng)治的；而宏觀上，則是由廣義相對(duì)論、麥克斯韋方程組統(tǒng)治的充滿確定性的世界。

理論上，圍棋有超越宇宙中所有原子數(shù)量的變化。而實(shí)際上，AlphaZero經(jīng)過450萬盤的強(qiáng)化學(xué)習(xí)，就已經(jīng)可以戰(zhàn)勝AlphaGo Lee了，這表明每個(gè)局面可選擇的有效下法其實(shí)是有限的。所以，在特定場(chǎng)景和具體設(shè)計(jì)下，事物的存在和發(fā)展在可量化描述的維度上是稀疏的，有大概率的趨同性。

網(wǎng)絡(luò)攻擊也是基于一定的樣本和攻防理論，而非完全孤立和隨機(jī)離散，也就內(nèi)含了某個(gè)模式或者規(guī)律，是可解的。

其次，探討和提取模式和規(guī)律，有很多成熟的科學(xué)方法。

在簡(jiǎn)單的系統(tǒng)中，通過歸納總結(jié)，人類專家就可以提取出規(guī)律，用在網(wǎng)絡(luò)安全領(lǐng)域就是一系列的安全規(guī)則、簽名以及情報(bào)。在復(fù)雜的系統(tǒng)中，模式和定律需要通過大量數(shù)據(jù)分析才能得到。

AI是超越人工的利器，可以從數(shù)據(jù)中找到特定的模式并刻畫事物的特征，總結(jié)出定律和定理，并抽象為可以用符號(hào)推理表達(dá)的知識(shí)。比如，引爆此次AI技術(shù)浪潮的是基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它之所以有如此大的作用，正是因?yàn)樗�較好地模擬了人腦這“分層”和“抽象”的認(rèn)知和思考方式。其實(shí)質(zhì)，是通過構(gòu)建隱層的神經(jīng)網(wǎng)絡(luò)模型和獲取海量的訓(xùn)練數(shù)據(jù)，來學(xué)習(xí)到更有用的本質(zhì)特征，從而最終提升信息分類或預(yù)測(cè)的準(zhǔn)確性。圖像識(shí)別通過應(yīng)用深度神經(jīng)網(wǎng)絡(luò)，已經(jīng)擁有超越人的識(shí)別能力。現(xiàn)實(shí)中，人臉識(shí)別應(yīng)用非常廣泛，也已經(jīng)顯示出高于人工識(shí)別的優(yōu)越性。在數(shù)據(jù)中心的AIops中，AI同樣發(fā)揮著重要作用。

AI本身擅長(zhǎng)的就是，從大量紛繁復(fù)雜、但含有有效信息的數(shù)據(jù)中尋找本質(zhì)的模式或規(guī)律，對(duì)于網(wǎng)絡(luò)安全領(lǐng)域也一樣。

AI如何有效的應(yīng)用于網(wǎng)絡(luò)安全領(lǐng)域？

網(wǎng)絡(luò)安全AI應(yīng)用的目標(biāo)是替代人類安全分析專家在特定場(chǎng)景下的工作，實(shí)現(xiàn)自動(dòng)化。

我們先看看人腦的決策機(jī)制：

右腦，感性，非計(jì)算模式，從已存儲(chǔ)的模式中啟發(fā)式匹配檢索。即通常意義上的直覺，可以快速匹配、快速反應(yīng)，根據(jù)歷史經(jīng)驗(yàn)來提取關(guān)鍵事物特征和行為模式，從而第一時(shí)間做出決策。

左腦，理性分析，通過一定的邏輯計(jì)算，從普世定理和領(lǐng)域知識(shí)出發(fā)進(jìn)行演繹推理。從知識(shí)概念中來，到現(xiàn)實(shí)證據(jù)中去，通過推理模型預(yù)測(cè)和證據(jù)對(duì)照來判斷真?zhèn)�，指�?dǎo)做出決策。

理性可避免錯(cuò)誤，但也可能會(huì)受限于舊知識(shí)而因循守舊。感性激發(fā)創(chuàng)造力和快速反應(yīng)，但會(huì)陷入被設(shè)計(jì)的陷阱，誤判較大。

人的決策，很多時(shí)候是左右腦互博而達(dá)到協(xié)調(diào)統(tǒng)一，才能給出更合理的結(jié)論。

AI在網(wǎng)絡(luò)安全中的應(yīng)用模式，也大概如此。安全AI右腦需要有類似老刑警“看一眼即懂”的能力，不放過任何一個(gè)可疑分子；安全AI左腦需要用攻防知識(shí)庫和推理引擎來武裝自己，從多維關(guān)聯(lián)、攻擊鏈、圖計(jì)算到知識(shí)圖譜，推導(dǎo)得出一個(gè)更合理的最終決策。

AI在網(wǎng)絡(luò)安全中的應(yīng)用模式如下：

第一、安全數(shù)據(jù)的加工中AI的應(yīng)用。安全數(shù)據(jù)加工目的是自動(dòng)或者半自動(dòng)產(chǎn)生安全情報(bào)、規(guī)則或者簽名。一般來講，這個(gè)加工過程需要安全專家參與最后的確認(rèn)與調(diào)整。通過利用AI工具，可以過濾掉大部分無用的數(shù)據(jù)，并給出更精確的情報(bào)、規(guī)則和簽名的建議，減少安全專家的分析工作量，提高工作效率，減少重復(fù)的勞動(dòng)。

第二、有監(jiān)督學(xué)習(xí)的安全AI檢測(cè)：通過對(duì)海量黑白樣本的學(xué)習(xí)，建立分類模型，識(shí)別威脅的真實(shí)性，是最常見的應(yīng)用。有別于靜態(tài)固定的簽名和規(guī)則，AI模型比人類專家更能在海量數(shù)據(jù)中找到最接近本質(zhì)的特征表達(dá)，因而有更強(qiáng)的泛化能力，適應(yīng)于各種變種。變種很多有家族屬性和惡意代碼的重用度，這些是監(jiān)督學(xué)習(xí)算法最擅于捕捉到的關(guān)鍵特征，但需要注意的前提是大數(shù)據(jù)量和高質(zhì)量的黑白樣本，以及場(chǎng)景問題在可以用的安全數(shù)據(jù)中的信息含量多少。

構(gòu)建AI模型的門檻即低又高。低，是因?yàn)閿?shù)據(jù)驅(qū)動(dòng)的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)，無腦擬合，容易過擬合得到高精度得分，可以在局部數(shù)據(jù)很到漂亮的結(jié)果；高，是因?yàn)橐�替代或者超越人類安全專家，首先需要的�?shù)據(jù)不僅有量還要有質(zhì)，同時(shí)在算法上有深入研究。到模型構(gòu)建的最后時(shí)刻，每前進(jìn)1個(gè)百分點(diǎn)都非常困難，需要“煉丹師”般高深的功底才能取得一個(gè)實(shí)戰(zhàn)環(huán)境基本可用的AI模型。而這只一個(gè)開始，AI模型還要根據(jù)不同客戶具體環(huán)境下的安全數(shù)據(jù)的分布差異，不斷的迭代優(yōu)化，反復(fù)打磨才能實(shí)戰(zhàn)可用。

第三、無監(jiān)督學(xué)習(xí)的安全AI檢測(cè)：無監(jiān)督學(xué)習(xí)不需要事先標(biāo)記好數(shù)據(jù)，而是可以通過數(shù)據(jù)本身在時(shí)空維度上的內(nèi)在聯(lián)系，建立行為基線；或者通過聚類算法，來表達(dá)數(shù)據(jù)本身的分布屬性，從而獲得安全數(shù)據(jù)的分布模型。通過數(shù)據(jù)空間的分布模型可以發(fā)現(xiàn)異常，分類不同的數(shù)據(jù)集合，從而自學(xué)習(xí)、自適應(yīng)地識(shí)別0 Day攻擊或基于已知漏洞變種的攻擊。無監(jiān)督模式是很好的未知威脅檢測(cè)方式。

第四、基于安全AI的認(rèn)知能力構(gòu)建，從安全攻防知識(shí)、資產(chǎn)的脆弱性／重要性、情報(bào)，通過各種知識(shí)推導(dǎo)給出最終結(jié)論，可用于最終決策，高級(jí)威脅識(shí)別，同時(shí)給出威脅自動(dòng)處置腳本，加快響應(yīng)速度，減少系統(tǒng)受損程度和增加對(duì)APT組織的攻擊預(yù)判。

AI在網(wǎng)絡(luò)安全中的具體實(shí)踐舉例：

（1）基于DNN的惡意文件檢測(cè)

惡意文件數(shù)據(jù)量巨大，大部分會(huì)有有家族性，有較好的AI檢測(cè)基礎(chǔ)。

惡意文件檢測(cè)基于深度學(xué)習(xí)DNN模型，用以識(shí)別文件是否為惡意文件。其優(yōu)點(diǎn)是檢測(cè)算法使用了靜態(tài)檢測(cè)技術(shù)，無需惡意文件的運(yùn)行時(shí)行為，常用于本地檢測(cè)。此外，模型小于1MB，運(yùn)行內(nèi)存小，適合防火墻做輕量化檢測(cè)。

惡意文件的本地檢測(cè)流程

惡意文件檢測(cè)建模

（2）C＆C檢測(cè)——DGA和DNS隱蔽通道檢測(cè)

C＆C是內(nèi)網(wǎng)防護(hù)的重點(diǎn)，同時(shí)也積累這大量的流量行為數(shù)據(jù)，有較好的AI應(yīng)用基礎(chǔ)。DGA（域名生成算法）是一種利用隨機(jī)字符來生成C＆C域名，從而逃避域名黑名單檢測(cè)的技術(shù)手段。DGA檢測(cè)使用了卷積神經(jīng)網(wǎng)絡(luò)（CNN）的模型，識(shí)別準(zhǔn)確率高達(dá)99．9％以上。

DGA檢測(cè)惡意域名

DNS隱蔽通道是指黑客利用DNS協(xié)議實(shí)現(xiàn)諸如遠(yuǎn)程控制、文件傳輸?shù)炔僮�。例�?017年著名的XShell DNS通道攻擊，黑客在XShell中植入惡意代碼，通過DNS隱蔽通道外發(fā)用戶敏感數(shù)據(jù)。一個(gè)典型的DNS隱蔽通道攻擊過程如下圖所示。

DNS隱蔽通道攻擊

①被控端發(fā)起包含“數(shù)據(jù)上傳”的域名請(qǐng)求

②域名請(qǐng)求DNS服務(wù)器進(jìn)行遞歸查詢

③控制端服務(wù)器返回含C＆C data的DNS應(yīng)答

④C＆C data到達(dá)被控端

使用深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)（CNN）識(shí)別DNS隱蔽通道。通過batch normalization、word embedding、dropout等技術(shù)優(yōu)化CNN模型，使得DNS隱蔽通道識(shí)別準(zhǔn)確率高達(dá)97％以上。

（3）惡意加密流量識(shí)別

互聯(lián)網(wǎng)上的加密流量呈現(xiàn)增多趨勢(shì)。同時(shí)，為繞過傳統(tǒng)的流量檢測(cè)技術(shù)，也有很多惡意軟件通過TLS加密流量進(jìn)行通信。如何識(shí)別惡意和正常流量，從而有效及時(shí)阻斷，需要用到基于AI技術(shù)的方法。

加密流量識(shí)別過程

整個(gè)工作分為3大部分：

1、首先安全研究人員通過獲取的黑白樣本集，結(jié)合查詢開源情報(bào)，域名、IP、SSL等的情報(bào)信息，進(jìn)行特征信息提�。煌ㄟ^對(duì)黑白樣本的客戶端簽名和服務(wù)器證書的簽名進(jìn)行分析；基于上述分析取證的特征向量，采用機(jī)器學(xué)習(xí)的方法，利用樣本數(shù)據(jù)進(jìn)行訓(xùn)練，從而生成分類器模型。這就形成CIS安全態(tài)勢(shì)感知系統(tǒng)最核心的ECA檢測(cè)分類模型。

2、流探針提取網(wǎng)絡(luò)流量中加密流量的特征數(shù)據(jù)，包括TLS握手信息、TCP統(tǒng)計(jì)信息、DNS／HTTP相關(guān)信息以及3／4層協(xié)議統(tǒng)計(jì)信息，統(tǒng)一上報(bào)給AI分析系統(tǒng)。

3、AI分析系統(tǒng)結(jié)合自身的大數(shù)據(jù)關(guān)聯(lián)分析能力，對(duì)探針上送的各類特征數(shù)據(jù)進(jìn)行處理，利用檢測(cè)分類模型識(shí)別加密流量中的異常C＆C連接，從而發(fā)現(xiàn)僵尸主機(jī)或者APT攻擊在命令控制階段的異常行為。

AI在網(wǎng)絡(luò)安全應(yīng)用總結(jié)

①借助AI技術(shù)的自動(dòng)化數(shù)據(jù)加工可提升數(shù)據(jù)處理效率，讓安全專家更專注于價(jià)值信息，從中提取更有效的規(guī)則、簽名、情報(bào)。內(nèi)嵌入靜態(tài)規(guī)則引擎，簡(jiǎn)單高效，是安全防御的重要手段，實(shí)際在廣泛應(yīng)用。

②在威脅手段不斷變化和漏洞日益增加，常規(guī)防御手段失效的情況下，更能適應(yīng)變化的AI檢測(cè)模型成為最后的兜底、最后的防線。建立成百上千的AI檢測(cè)模型的集群，可以從各個(gè)方位形成天羅地網(wǎng)，構(gòu)筑最強(qiáng)力的防線。

③我們還必須從組織的安全管理的視角出發(fā)，從網(wǎng)絡(luò)虛擬空間走向物理實(shí)體空間，實(shí)現(xiàn)用戶友好的AI安全檢測(cè)和威脅閉環(huán)，協(xié)同業(yè)界頂尖的安全專家能力，賦能給單個(gè)組織，抵御外部的持續(xù)攻擊，實(shí)現(xiàn)威脅的預(yù)防和根治。安全能力來自對(duì)網(wǎng)絡(luò)安全空間的認(rèn)知理解，包括：實(shí)體（用戶、主機(jī)、系統(tǒng)、應(yīng)用等），威脅（情報(bào)、漏洞），APT組織和其攻擊技術(shù)。知識(shí)決定命運(yùn)，安全知識(shí)多的一方會(huì)獲得更大優(yōu)勢(shì)，構(gòu)建多層次的AI推理引擎是知識(shí)應(yīng)用的關(guān)鍵。

人工智能技術(shù)能夠解決靜態(tài)規(guī)則引擎的弊端，從而加強(qiáng)威脅檢測(cè)能力，并通過知識(shí)智能推理來解決安全運(yùn)維面臨的挑戰(zhàn)。目前硬件生態(tài)的繁榮、AI芯片的涌現(xiàn)為人工智能技術(shù)在網(wǎng)絡(luò)安全領(lǐng)域的落地提供了堅(jiān)實(shí)保障。此外，AI能夠助力設(shè)備間以及云間協(xié)同，促進(jìn)安全互動(dòng)生態(tài)的發(fā)展，通過多方聯(lián)動(dòng)打造越發(fā)牢固的安全平臺(tái)，為企業(yè)筑起安全防護(hù)的鋼鐵長(zhǎng)城。