關(guān)于基于大數(shù)據(jù)的分布網(wǎng)絡(luò)安全管理系統(tǒng)構(gòu)建的論文
摘要：在社會(huì)發(fā)展進(jìn)程中, 在傳統(tǒng)安全管理平臺(tái)上大量多源異構(gòu)安全數(shù)據(jù)提供相應(yīng)的參考, 比如說數(shù)據(jù)收集、安全風(fēng)險(xiǎn)以及安全警示等等。本文則針對(duì)大數(shù)據(jù)安全問題, 依照開源分布式組件實(shí)施大數(shù)據(jù)分布式安全管理平臺(tái)設(shè)計(jì), 在內(nèi)置關(guān)聯(lián)分析應(yīng)用中, 以此顯著提升安全數(shù)據(jù)分析能力, 能夠?qū)鹘y(tǒng)安全管理平臺(tái)數(shù)據(jù)管理中存在的相關(guān)問題有效處理, 分布式部署的應(yīng)用有助于提升管理平臺(tái)的使用率及擴(kuò)展性。
關(guān)鍵詞：大數(shù)據(jù); 分布式; 網(wǎng)絡(luò)安全管理;
在移動(dòng)互聯(lián)網(wǎng)及物聯(lián)網(wǎng)技術(shù)發(fā)展環(huán)境下, 在社會(huì)不同行業(yè)中的應(yīng)用也逐漸廣泛。據(jù)調(diào)查, 世界內(nèi)互聯(lián)網(wǎng)運(yùn)營(yíng)企業(yè)每年的用戶數(shù)據(jù)增長(zhǎng)速度非常快。隨著新技術(shù)及新研究方式的出現(xiàn), 在人類的生活及工作中, 大量的數(shù)據(jù)被廣泛應(yīng)用, 對(duì)于互聯(lián)網(wǎng)運(yùn)營(yíng)企業(yè)及國(guó)家單位等來講海量數(shù)據(jù)更是發(fā)展基礎(chǔ), 在人類發(fā)展中大量數(shù)據(jù)進(jìn)一步提高了價(jià)值。數(shù)據(jù)類型不同, 則會(huì)進(jìn)一步提升數(shù)據(jù)處理的難度, 因此需要強(qiáng)化大數(shù)據(jù)管理及處理。
1 大數(shù)據(jù)分布式網(wǎng)絡(luò)安全管理平臺(tái)設(shè)計(jì)
圖1是大數(shù)據(jù)分布式網(wǎng)絡(luò)安全管理平臺(tái)評(píng)估設(shè)計(jì)。由此能夠發(fā)現(xiàn)在管理平臺(tái)設(shè)計(jì)中, 實(shí)現(xiàn)方式則是在數(shù)據(jù)處理過程中, 將其分成數(shù)據(jù)源、預(yù)處理、數(shù)據(jù)收集、存儲(chǔ)分析以及展示五層。其中最基礎(chǔ)的則是數(shù)據(jù)源, 也就是將相關(guān)數(shù)據(jù)輸入到系統(tǒng)中。在數(shù)據(jù)庫(kù)中Kafka組件存儲(chǔ)所收集的數(shù)據(jù), 并在此基礎(chǔ)上實(shí)施數(shù)據(jù)處理。數(shù)據(jù)預(yù)處理是實(shí)現(xiàn)數(shù)據(jù)的標(biāo)準(zhǔn)化管理。數(shù)據(jù)處理則可以分成兩種, 其中分別是非結(jié)構(gòu)化及結(jié)構(gòu)化, 大數(shù)據(jù)計(jì)算則是在Nana組件應(yīng)用下深入挖掘離線例數(shù)數(shù)據(jù), 并對(duì)相關(guān)數(shù)據(jù)流實(shí)施相應(yīng)的計(jì)算。數(shù)據(jù)展開層能夠有效展示相關(guān)數(shù)據(jù), 例如其中包括的網(wǎng)絡(luò)安全態(tài)勢(shì)信息以及預(yù)警信息等等[1]�，F(xiàn)代網(wǎng)絡(luò)安全分析主要是以日志和流量?jī)煞N數(shù)據(jù), 并且還配以用戶行為、訪問、漏洞、資產(chǎn)、業(yè)務(wù)行為、應(yīng)用行為及外部情報(bào)等信息進(jìn)行關(guān)聯(lián)分析。其中日志分析主要包括安全審計(jì)、網(wǎng)絡(luò)安全風(fēng)險(xiǎn)分析和主機(jī)入侵檢測(cè)�；诹髁堪踩治鲋饕ó惓Ａ髁繖z測(cè)、惡意代碼檢測(cè)、web安全分析、僵木蠕檢測(cè)及網(wǎng)絡(luò)入侵檢測(cè)等。融入大數(shù)據(jù)分析技術(shù), 在此種安全應(yīng)用技術(shù)整合流量數(shù)據(jù), 利用高效收集、存儲(chǔ)、檢索及分析有效提高安全檢測(cè)及信息處理的效率, 降低分析和反應(yīng)時(shí)間。在安全數(shù)據(jù)收集方面, 為了能夠?qū)崿F(xiàn)海量數(shù)據(jù)的快速收集, 可以使用Flume、Chukwa等工具, 利用分布式收集實(shí)現(xiàn)每秒數(shù)百兆日志數(shù)據(jù)收集和傳輸。對(duì)于流量可以使用功能傳統(tǒng)流量鏡像方式實(shí)現(xiàn)全流量數(shù)據(jù)收集。
圖1 基于大數(shù)據(jù)的分布式網(wǎng)絡(luò)安全管理平臺(tái)架構(gòu)
2 大數(shù)據(jù)分布式網(wǎng)絡(luò)安全管理平臺(tái)流程設(shè)計(jì)
圖2能夠發(fā)現(xiàn), 在數(shù)據(jù)流計(jì)算完成后則需要依照實(shí)際需求, 對(duì)相關(guān)數(shù)據(jù)進(jìn)行強(qiáng)化處理, 例如補(bǔ)充資產(chǎn)編號(hào)以及地理信息等等。之后構(gòu)建數(shù)據(jù)索引, 在實(shí)時(shí)索引中保存處理, 在此過程中數(shù)據(jù)量會(huì)出現(xiàn)明顯增加, 在HBase中可以長(zhǎng)時(shí)間保存相關(guān)數(shù)據(jù)。在處理過的數(shù)據(jù)之后也就會(huì)減少數(shù)據(jù)量。一旦觸發(fā)告警信息, 則會(huì)出現(xiàn)告警數(shù)據(jù), 在展示層中可以將HBase中的數(shù)據(jù)實(shí)施警處理。機(jī)器學(xué)習(xí)模塊可以進(jìn)行數(shù)據(jù)自動(dòng)化分析, 數(shù)據(jù)智能安全關(guān)聯(lián)之后所得結(jié)果也會(huì)被保存在HBase中。現(xiàn)代先進(jìn)技術(shù)在機(jī)器學(xué)習(xí)數(shù)據(jù)中的應(yīng)用, 有助于實(shí)現(xiàn)人工無法實(shí)現(xiàn)的目標(biāo), 能夠引導(dǎo)工作人員找到數(shù)據(jù)詳細(xì)點(diǎn), 以此進(jìn)行數(shù)據(jù)挖掘[2]。
分布式數(shù)據(jù)庫(kù)技術(shù)在數(shù)據(jù)存儲(chǔ)中的有效應(yīng)用, 具有重要應(yīng)用優(yōu)勢(shì)。傳統(tǒng)數(shù)據(jù)存儲(chǔ)規(guī)模較小, 也比較單一, 在當(dāng)前海量數(shù)據(jù)環(huán)境下無法有效實(shí)施數(shù)據(jù)處理, 針對(duì)這一問題, 分布式數(shù)據(jù)庫(kù)管理的應(yīng)用則能夠進(jìn)一步提升大數(shù)據(jù)的擴(kuò)展性及適用性�，F(xiàn)代分布式數(shù)據(jù)庫(kù)管理平臺(tái)的應(yīng)用也隨之廣泛, 例如Bigtable技術(shù)的應(yīng)用, 可以在數(shù)據(jù)操作及管理過程中將數(shù)據(jù)訪問信息轉(zhuǎn)換為字符串, 實(shí)現(xiàn)數(shù)據(jù)信息管理, 字符串不必解釋也就能夠呈現(xiàn)出分布式數(shù)據(jù)的非結(jié)構(gòu)化及結(jié)構(gòu)化特點(diǎn), 可以實(shí)現(xiàn)數(shù)據(jù)庫(kù)的文本、上接第183頁(yè)無法滿足需求, 在此背景下就產(chǎn)生了分布式數(shù)據(jù)庫(kù)。對(duì)于現(xiàn)代大數(shù)據(jù)及網(wǎng)絡(luò)方面存在的多種問題, 就要設(shè)計(jì)全新的分布式網(wǎng)絡(luò)安全管理平臺(tái), 從而為大數(shù)據(jù)提供實(shí)時(shí)的數(shù)據(jù)收集、檢索和存儲(chǔ)等多種功能。通過實(shí)驗(yàn)表示, 本文所設(shè)計(jì)的分布式網(wǎng)絡(luò)安全管理平臺(tái)能夠有效提高大數(shù)據(jù)的處理能力, 能夠在大量日志備份、檢索和網(wǎng)絡(luò)報(bào)文收集及分析中使用。圖像以及視頻等不同存儲(chǔ)類型, 以此提高系統(tǒng)管理便利性。Dynamo技術(shù)在數(shù)據(jù)庫(kù)技術(shù)中的應(yīng)用, 能夠借助于鏈值存儲(chǔ)、分布式數(shù)據(jù)等相關(guān)技術(shù), 最大化的提升系統(tǒng)運(yùn)行管理中大數(shù)據(jù)管理系統(tǒng)應(yīng)用效率, 進(jìn)一步推進(jìn)關(guān)系型數(shù)據(jù)庫(kù)次序發(fā)展。在智能化技術(shù)發(fā)展進(jìn)程中, 在分布式數(shù)據(jù)庫(kù)中則出現(xiàn)多種算法, 其中主要包括有機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)及模式識(shí)別等等, 有助于顯著提升數(shù)據(jù)的快速處理, 也有助于顯著提升數(shù)據(jù)處理一致性[3]。
圖2 分布式網(wǎng)絡(luò)安全管理平臺(tái)流程
(文件1:文件內(nèi)容直接在HDFS中存儲(chǔ), 文件元數(shù)據(jù)在HBase中存儲(chǔ);聚合2:輕度匯總數(shù)據(jù)保存一年;數(shù)據(jù)存儲(chǔ)3:不同存儲(chǔ)模塊數(shù)據(jù)的保留時(shí)間能夠配置Nana, 長(zhǎng)期存儲(chǔ)和短期數(shù)據(jù)索引)
在當(dāng)前環(huán)境下, 海量數(shù)據(jù)存儲(chǔ)也逐漸加大, 傳統(tǒng)數(shù)據(jù)管理模式已經(jīng)無法有效滿足當(dāng)前數(shù)據(jù)處理需求, 因此針對(duì)這一問題廣大研究人員積極展開研究�；谘芯糠较虿町�, 數(shù)據(jù)管理中的可用性、擴(kuò)展性以及緩存等各個(gè)方面均已經(jīng)取得一定的新研究成果。例如全域名空間, 則不用提供文件姓名, 借助于姓名, 也就能夠在系統(tǒng)中應(yīng)用文件。在此過程中也能夠?qū)?fù)數(shù)服務(wù)器起到協(xié)調(diào)作用, 系統(tǒng)被分成若干個(gè)部位, 各個(gè)部位內(nèi)容之間相互獨(dú)立同時(shí)也具有密切聯(lián)系。分布式系統(tǒng)擴(kuò)展性的實(shí)現(xiàn), 也就是進(jìn)一步提高系統(tǒng)性能及容量, 采用的'技術(shù)主要為虛擬化存儲(chǔ), 以此進(jìn)一步提高系統(tǒng)擴(kuò)展性。在系統(tǒng)中信息處理主要方式有降載算法和貪心算法, 前者能夠優(yōu)化系統(tǒng)各個(gè)流程, 但是這一算法應(yīng)用沒有綜合考慮到局部問題。數(shù)據(jù)過程中系統(tǒng)應(yīng)用存在一定限制, 降載算法在數(shù)據(jù)處理中的應(yīng)用, 一旦出現(xiàn)系統(tǒng)過載會(huì)直接放棄, 對(duì)其應(yīng)用范圍產(chǎn)生影響[4]。
3 實(shí)驗(yàn)分析
大數(shù)據(jù)分布式網(wǎng)絡(luò)安全管理系統(tǒng)的設(shè)計(jì)選用的是B/S架構(gòu), 在管理過程中選用的是統(tǒng)一和集中管理。隔離環(huán)境下, 對(duì)分布式網(wǎng)絡(luò)安全管理平臺(tái)進(jìn)行測(cè)試, 具體過程見圖3。在Node1-Node11、模擬流量一級(jí)模擬日志收集器的應(yīng)用下, 實(shí)現(xiàn)和交換機(jī)的有效集合, 在此基礎(chǔ)上進(jìn)行局域網(wǎng)設(shè)計(jì)。日志收集器的應(yīng)用, 能夠?qū)⒕唧w的日志樣本進(jìn)行轉(zhuǎn)換, 從而編程日志數(shù)據(jù), 最后在PC模型的應(yīng)用之后, 完成網(wǎng)絡(luò)流量的發(fā)送。
圖3 系統(tǒng)的實(shí)驗(yàn)測(cè)試拓?fù)?/p>
基于以上研究結(jié)果可以確定拓?fù)淠軌驅(qū)崿F(xiàn)大數(shù)據(jù)集群和分布式收集器網(wǎng)絡(luò)配置, 大數(shù)據(jù)集群的應(yīng)用下導(dǎo)入大量的數(shù)據(jù)。在大數(shù)據(jù)應(yīng)用中進(jìn)一步提高訪問記錄檢索精確性, 依照檢索時(shí)間也就能夠達(dá)到所需數(shù)據(jù), 還能夠顯著減少使用時(shí)間。
4 結(jié)語(yǔ)
隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的發(fā)展及應(yīng)用, 大量的數(shù)據(jù)也在不斷增長(zhǎng), 網(wǎng)絡(luò)中的問題也越來越突出。大數(shù)據(jù)作為全新的顛覆性技術(shù), 為大量數(shù)據(jù)的處理提供了多種可能性。
參考文獻(xiàn)
[1]章翔凌, 楊永群, 黃勤龍等.基于大數(shù)據(jù)分析的應(yīng)用安全態(tài)勢(shì)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].信息安全與技術(shù), 2017, (z1) :54-59.
[2]王海燕.芻議面向大數(shù)據(jù)分析的分布式文件系統(tǒng)關(guān)鍵技術(shù)[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用, 2015, (3) :41-42.
[3]黃天恩, 孫宏斌, 郭慶來等.基于電網(wǎng)運(yùn)行大數(shù)據(jù)的在線分布式安全特征選擇[J].電力系統(tǒng)自動(dòng)化, 2016, (4) :32-40.
[4]陳康, 黃劍, 劉建楠.分布式協(xié)商:建立穩(wěn)固分布式大數(shù)據(jù)系統(tǒng)的基石[J].大數(shù)據(jù), 2016, 2 (4) :24-35.
【關(guān)于基于大數(shù)據(jù)的分布網(wǎng)絡(luò)安全管理系統(tǒng)構(gòu)建的論文】相關(guān)文章：
1.基于數(shù)據(jù)挖掘的成績(jī)分析系統(tǒng)
2.關(guān)于基于知識(shí)管理的臨床信息系統(tǒng)的研究論文
3.校園網(wǎng)絡(luò)安全管理系統(tǒng)的設(shè)計(jì)論文
4.基于.NET的管道SCADA維護(hù)數(shù)據(jù)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
5.基于調(diào)度自動(dòng)化系統(tǒng)的歷史數(shù)據(jù)存儲(chǔ)方案論文
6.基于戰(zhàn)略經(jīng)營(yíng)系統(tǒng)的管理會(huì)計(jì)再造的論文
7.基于VB的分布式監(jiān)控系統(tǒng)通信設(shè)計(jì)