誤報率是衡量網(wǎng)絡(luò)安全設(shè)備的重要技術(shù)指標(biāo),但如何正確檢測和計(jì)算這項(xiàng)指標(biāo),沒有統(tǒng)一科學(xué)的方法。安博通基于自主研發(fā)的網(wǎng)絡(luò)流量安全分析系統(tǒng),總結(jié)自身技術(shù)和經(jīng)驗(yàn),得出了一套安全設(shè)備誤報率的檢測計(jì)算方法,并基于深度學(xué)習(xí)技術(shù)將誤報率降到業(yè)界較低水平,可減少企業(yè)機(jī)構(gòu)安全運(yùn)維的人力和時間投入。
誤報率是什么?
· 誤報: 在網(wǎng)絡(luò)安全設(shè)備報警規(guī)則集合C中,事件A觸發(fā)報警時,發(fā)生了B事件報警或未發(fā)生報警。
· 誤報率: 在規(guī)則集C中,由于算法或事件定義導(dǎo)致安全設(shè)備產(chǎn)生誤報的概率。
通用的誤報率計(jì)算方法是,以設(shè)備規(guī)則集為出發(fā)點(diǎn),對規(guī)則集事件進(jìn)行加權(quán)處理,但業(yè)界暫無統(tǒng)一的權(quán)值標(biāo)準(zhǔn),因此造成計(jì)算困難。
由于安全設(shè)備規(guī)則集較多,全面覆蓋往往不現(xiàn)實(shí)。在實(shí)踐中,通常以抽樣測試方法來統(tǒng)計(jì)誤報率,即隨機(jī)挑選事件庫中的部分事件,使用攻擊工具觸發(fā)這些事件,或以抓包工具對捕獲的包進(jìn)行回放,分析報警結(jié)果,從而得出安全設(shè)備的誤報率。
基于深度學(xué)習(xí)技術(shù)的流量安全分析,降低誤報率
安博通網(wǎng)絡(luò)流量安全分析系統(tǒng)在傳統(tǒng)流量采集、流量分析、流量回溯的基礎(chǔ)上,集成自研的威脅情報技術(shù),并應(yīng)用深度學(xué)習(xí)技術(shù),降低誤報率。
深度學(xué)習(xí)技術(shù)是機(jī)器學(xué)習(xí)技術(shù)的一種,而機(jī)器學(xué)習(xí)是實(shí)現(xiàn)人工智能的必經(jīng)路徑。深度學(xué)習(xí)概念源于人工神經(jīng)網(wǎng)絡(luò)的研究,其通過組合低層特征形成更加抽象的高層表示屬性類別或特征,并以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。研究深度學(xué)習(xí)的動機(jī)在于建立模擬人腦學(xué)習(xí)分析的神經(jīng)網(wǎng)絡(luò),它模擬人腦機(jī)制解釋數(shù)據(jù),如圖像、聲音、文本等。
基于深度學(xué)習(xí)的惡意文件、惡意URL、DGA域名等檢測技術(shù)無需沙箱環(huán)境,可以直接將樣本文件轉(zhuǎn)換為二維圖片,進(jìn)而應(yīng)用改造后的卷積神經(jīng)網(wǎng)絡(luò)Inception V4進(jìn)行訓(xùn)練和檢測。
Step 1:二進(jìn)制文件轉(zhuǎn)換
將樣本文件初步處理后轉(zhuǎn)換為二進(jìn)制文件,轉(zhuǎn)換后每個字節(jié)范圍在00-FF之間,對應(yīng)灰度圖像素在0-255之間(0為黑色,255為白色)。將二進(jìn)制文件轉(zhuǎn)換為矩陣,矩陣又可以轉(zhuǎn)換為灰度圖。
Step 2:CNN圖像識別
單靠觀看很難區(qū)分惡意樣本與白樣本在紋理上存在的細(xì)微差異,采用成熟的CNN圖像識別算法可以進(jìn)行圖像分類。
CNN(卷積神經(jīng)網(wǎng)絡(luò))是一類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò),是深度學(xué)習(xí)的代表算法之一。它的構(gòu)成包括:
· 輸入層(Input Layer)
用三維矩陣代表一張圖片,矩陣的長寬表示圖片的大小,矩陣的深度表示圖像的色彩通道,黑白為1 。
· 卷積層(Convolution Layer)
這一層的輸入是上一層神經(jīng)網(wǎng)絡(luò)的一小塊,它試圖對神經(jīng)網(wǎng)絡(luò)的每一小塊進(jìn)行更深入分析,以得到抽象程度更高的特征。一般來說,本層處理后的結(jié)點(diǎn)矩陣深度會增加。
· 池化層(Pooling Layer)
不改變?nèi)S矩陣的深度,但能夠縮小矩陣的大小,達(dá)到減少參數(shù)的目的??梢钥醋鍪菍⒎直媛瘦^高圖片降低分辨率的過程。
· 全連接層(Fully Connecced)
經(jīng)過多輪卷積和池化后,經(jīng)過1-2個全連接層進(jìn)行輸出。可以將卷積層、池化層看做特征提取,最后由本層進(jìn)行分類。
· Softmax層
轉(zhuǎn)化為概率分布。
這一技術(shù)簡化了檢測流程,速度也優(yōu)于沙箱技術(shù),可將誤報率控制在10%以內(nèi),最低降至1%。
以下是最近一次惡意文件訓(xùn)練后在測試集上評估的結(jié)果:
· 各項(xiàng)指標(biāo)在97-98%左右,優(yōu)于以往模型。
· 表現(xiàn)較差的幾種格式,主要原因?yàn)檎龢颖局袠颖緮?shù)較少。
· dex是一種特殊的安卓文件格式,在負(fù)樣本中沒有收集到,導(dǎo)致測試結(jié)果可能偏向正樣本。
· rar、zip壓縮后對檢測有一定影響。
以下是DGA和惡意URL檢測在驗(yàn)證集上的結(jié)果,可以看到誤報率最低降至1% (1-準(zhǔn)確率)。
創(chuàng)新提出全棧分析概念
安博通網(wǎng)絡(luò)流量安全分析系統(tǒng)集成了會話分析、WAF、IDS告警、威脅情報分析、未知威脅分析、全流量溯源、文件還原取證等功能,并創(chuàng)新性地提出了全棧分析概念。
除了基于深度學(xué)習(xí)從技術(shù)層面量化降低誤報率外,還可以從實(shí)際操作層出發(fā),根據(jù)實(shí)踐經(jīng)驗(yàn),應(yīng)用這些措施降低誤報率:
1、 應(yīng)用自研威脅情報 ,可實(shí)時更新離線庫,保障準(zhǔn)確率。
2、 應(yīng)用未知威脅分析 ,通過加白名單操作排除誤報。
3、 應(yīng)用異常流量檢測、網(wǎng)絡(luò)攻擊檢測 ,通過配置審計(jì)的精確IP,降低誤報率。
4、 應(yīng)用內(nèi)置的WAF功能 ,也可以通過減少配置審計(jì)的IP降低誤報率。
在技術(shù)發(fā)展日新月異的今天,將先進(jìn)技術(shù)應(yīng)用于網(wǎng)絡(luò)安全領(lǐng)域,不斷提升產(chǎn)品功能精度,是安博通自主創(chuàng)新的不懈追求。未來,公司將繼續(xù)以人工智能技術(shù)賦能網(wǎng)絡(luò)安全產(chǎn)業(yè),切實(shí)保障在等保合規(guī)、紅藍(lán)對抗、日常運(yùn)維中的安全需求 ,為各行業(yè)用戶創(chuàng)造安全業(yè)務(wù)價值新體驗(yàn)。
關(guān)于安博通
北京安博通科技股份有限公司(簡稱“安博通”),是國內(nèi)領(lǐng)先的可視化網(wǎng)絡(luò)安全專用核心系統(tǒng)產(chǎn)品與安全服務(wù)提供商,2019年成為中國第一家登陸科創(chuàng)板的網(wǎng)絡(luò)安全企業(yè)。
其自主研發(fā)的ABT SPOS可視化網(wǎng)絡(luò)安全系統(tǒng)平臺,已成為眾多一線廠商與大型解決方案集成商最廣泛搭載的網(wǎng)絡(luò)安全系統(tǒng)套件,是國內(nèi)眾多部委與央企安全態(tài)勢感知平臺的核心組件與數(shù)據(jù)引擎。
更多詳情,敬請查閱:www.abtnetworks.com
申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!