關于基于大數據的分布網絡安全管理系統構建的論文
摘要：在社會發展進程中, 在傳統安全管理平臺上大量多源異構安全數據提供相應的參考, 比如說數據收集、安全風險以及安全警示等等。本文則針對大數據安全問題, 依照開源分布式組件實施大數據分布式安全管理平臺設計, 在內置關聯分析應用中, 以此顯著提升安全數據分析能力, 能夠對傳統安全管理平臺數據管理中存在的相關問題有效處理, 分布式部署的應用有助于提升管理平臺的使用率及擴展性。
關鍵詞：大數據; 分布式; 網絡安全管理;
在移動互聯網及物聯網技術發展環境下, 在社會不同行業中的應用也逐漸廣泛。據調查, 世界內互聯網運營企業每年的用戶數據增長速度非常快。隨著新技術及新研究方式的出現, 在人類的生活及工作中, 大量的數據被廣泛應用, 對于互聯網運營企業及國家單位等來講海量數據更是發展基礎, 在人類發展中大量數據進一步提高了價值。數據類型不同, 則會進一步提升數據處理的難度, 因此需要強化大數據管理及處理。
1 大數據分布式網絡安全管理平臺設計
圖1是大數據分布式網絡安全管理平臺評估設計。由此能夠發現在管理平臺設計中, 實現方式則是在數據處理過程中, 將其分成數據源、預處理、數據收集、存儲分析以及展示五層。其中最基礎的則是數據源, 也就是將相關數據輸入到系統中。在數據庫中Kafka組件存儲所收集的數據, 并在此基礎上實施數據處理。數據預處理是實現數據的標準化管理。數據處理則可以分成兩種, 其中分別是非結構化及結構化, 大數據計算則是在Nana組件應用下深入挖掘離線例數數據, 并對相關數據流實施相應的計算。數據展開層能夠有效展示相關數據, 例如其中包括的網絡安全態勢信息以及預警信息等等[1]。現代網絡安全分析主要是以日志和流量兩種數據, 并且還配以用戶行為、訪問、漏洞、資產、業務行為、應用行為及外部情報等信息進行關聯分析。其中日志分析主要包括安全審計、網絡安全風險分析和主機入侵檢測。基于流量安全分析主要包括異常流量檢測、惡意代碼檢測、web安全分析、僵木蠕檢測及網絡入侵檢測等。融入大數據分析技術, 在此種安全應用技術整合流量數據, 利用高效收集、存儲、檢索及分析有效提高安全檢測及信息處理的效率, 降低分析和反應時間。在安全數據收集方面, 為了能夠實現海量數據的快速收集, 可以使用Flume、Chukwa等工具, 利用分布式收集實現每秒數百兆日志數據收集和傳輸。對于流量可以使用功能傳統流量鏡像方式實現全流量數據收集。
圖1 基于大數據的分布式網絡安全管理平臺架構
2 大數據分布式網絡安全管理平臺流程設計
圖2能夠發現, 在數據流計算完成后則需要依照實際需求, 對相關數據進行強化處理, 例如補充資產編號以及地理信息等等。之后構建數據索引, 在實時索引中保存處理, 在此過程中數據量會出現明顯增加, 在HBase中可以長時間保存相關數據。在處理過的數據之后也就會減少數據量。一旦觸發告警信息, 則會出現告警數據, 在展示層中可以將HBase中的數據實施警處理。機器學習模塊可以進行數據自動化分析, 數據智能安全關聯之后所得結果也會被保存在HBase中。現代先進技術在機器學習數據中的應用, 有助于實現人工無法實現的目標, 能夠引導工作人員找到數據詳細點, 以此進行數據挖掘[2]。
分布式數據庫技術在數據存儲中的有效應用, 具有重要應用優勢。傳統數據存儲規模較小, 也比較單一, 在當前海量數據環境下無法有效實施數據處理, 針對這一問題, 分布式數據庫管理的應用則能夠進一步提升大數據的擴展性及適用性。現代分布式數據庫管理平臺的應用也隨之廣泛, 例如Bigtable技術的應用, 可以在數據操作及管理過程中將數據訪問信息轉換為字符串, 實現數據信息管理, 字符串不必解釋也就能夠呈現出分布式數據的非結構化及結構化特點, 可以實現數據庫的文本、上接第183頁無法滿足需求, 在此背景下就產生了分布式數據庫。對于現代大數據及網絡方面存在的多種問題, 就要設計全新的分布式網絡安全管理平臺, 從而為大數據提供實時的數據收集、檢索和存儲等多種功能。通過實驗表示, 本文所設計的分布式網絡安全管理平臺能夠有效提高大數據的處理能力, 能夠在大量日志備份、檢索和網絡報文收集及分析中使用。圖像以及視頻等不同存儲類型, 以此提高系統管理便利性。Dynamo技術在數據庫技術中的應用, 能夠借助于鏈值存儲、分布式數據等相關技術, 最大化的提升系統運行管理中大數據管理系統應用效率, 進一步推進關系型數據庫次序發展。在智能化技術發展進程中, 在分布式數據庫中則出現多種算法, 其中主要包括有機器學習、神經網絡及模式識別等等, 有助于顯著提升數據的快速處理, 也有助于顯著提升數據處理一致性[3]。
圖2 分布式網絡安全管理平臺流程
(文件1:文件內容直接在HDFS中存儲, 文件元數據在HBase中存儲;聚合2:輕度匯總數據保存一年;數據存儲3:不同存儲模塊數據的保留時間能夠配置Nana, 長期存儲和短期數據索引)
在當前環境下, 海量數據存儲也逐漸加大, 傳統數據管理模式已經無法有效滿足當前數據處理需求, 因此針對這一問題廣大研究人員積極展開研究。基于研究方向差異, 數據管理中的可用性、擴展性以及緩存等各個方面均已經取得一定的新研究成果。例如全域名空間, 則不用提供文件姓名, 借助于姓名, 也就能夠在系統中應用文件。在此過程中也能夠對復數服務器起到協調作用, 系統被分成若干個部位, 各個部位內容之間相互獨立同時也具有密切聯系。分布式系統擴展性的實現, 也就是進一步提高系統性能及容量, 采用的'技術主要為虛擬化存儲, 以此進一步提高系統擴展性。在系統中信息處理主要方式有降載算法和貪心算法, 前者能夠優化系統各個流程, 但是這一算法應用沒有綜合考慮到局部問題。數據過程中系統應用存在一定限制, 降載算法在數據處理中的應用, 一旦出現系統過載會直接放棄, 對其應用范圍產生影響[4]。
3 實驗分析
大數據分布式網絡安全管理系統的設計選用的是B/S架構, 在管理過程中選用的是統一和集中管理。隔離環境下, 對分布式網絡安全管理平臺進行測試, 具體過程見圖3。在Node1-Node11、模擬流量一級模擬日志收集器的應用下, 實現和交換機的有效集合, 在此基礎上進行局域網設計。日志收集器的應用, 能夠將具體的日志樣本進行轉換, 從而編程日志數據, 最后在PC模型的應用之后, 完成網絡流量的發送。
圖3 系統的實驗測試拓撲
基于以上研究結果可以確定拓撲能夠實現大數據集群和分布式收集器網絡配置, 大數據集群的應用下導入大量的數據。在大數據應用中進一步提高訪問記錄檢索精確性, 依照檢索時間也就能夠達到所需數據, 還能夠顯著減少使用時間。
4 結語
隨著計算機網絡技術的發展及應用, 大量的數據也在不斷增長, 網絡中的問題也越來越突出。大數據作為全新的顛覆性技術, 為大量數據的處理提供了多種可能性。
參考文獻
[1]章翔凌, 楊永群, 黃勤龍等.基于大數據分析的應用安全態勢系統設計與實現[J].信息安全與技術, 2017, (z1) :54-59.
[2]王海燕.芻議面向大數據分析的分布式文件系統關鍵技術[J].網絡安全技術與應用, 2015, (3) :41-42.
[3]黃天恩, 孫宏斌, 郭慶來等.基于電網運行大數據的在線分布式安全特征選擇[J].電力系統自動化, 2016, (4) :32-40.
[4]陳康, 黃劍, 劉建楠.分布式協商:建立穩固分布式大數據系統的基石[J].大數據, 2016, 2 (4) :24-35.
【關于基于大數據的分布網絡安全管理系統構建的論文】相關文章：