基于大數(shù)據(jù)審計(jì)的信息安全日志分析法
噪聲數(shù)據(jù)隨著經(jīng)濟(jì)和信息技術(shù)的不斷發(fā)展，許多企業(yè)開始引入了ＥＲＰ等系統(tǒng)，這些系統(tǒng)使得企業(yè)的眾多活動(dòng)數(shù)據(jù)可以實(shí)時(shí)記錄，形成了大量有關(guān)企業(yè)經(jīng)營(yíng)管理的數(shù)據(jù)倉庫。從這些海量數(shù)據(jù)中獲取有用的審計(jì)數(shù)據(jù)是目前計(jì)算機(jī)審計(jì)的一個(gè)應(yīng)用。接下來小編為你帶來基于大數(shù)據(jù)審計(jì)的信息安全日志分析法，希望對(duì)你有幫助。
大數(shù)據(jù)信息安全日志審計(jì)分析方法
1．海量數(shù)據(jù)采集。
大數(shù)據(jù)采集過程的主要特點(diǎn)和挑戰(zhàn)是并發(fā)數(shù)高，因此采集數(shù)據(jù)量較大時(shí)，分析平臺(tái)的接收性能也將面臨較大挑戰(zhàn)。大數(shù)據(jù)審計(jì)平臺(tái)可采用大數(shù)據(jù)收集技術(shù)對(duì)各種類型的數(shù)據(jù)進(jìn)行統(tǒng)一采集，使用一定的壓縮及加密算法，在保證用戶數(shù)據(jù)隱私性及完整性的前提下，可以進(jìn)行帶寬控制。
2．?dāng)?shù)據(jù)預(yù)處理。
在大數(shù)據(jù)環(huán)境下對(duì)采集到的海量數(shù)據(jù)進(jìn)行有效分析，需要對(duì)各種數(shù)據(jù)進(jìn)行分類，并按照一定的標(biāo)準(zhǔn)進(jìn)行歸一化，且對(duì)數(shù)據(jù)進(jìn)行一些簡(jiǎn)單的清洗和預(yù)處理工作。對(duì)于海量數(shù)據(jù)的預(yù)處理，大數(shù)據(jù)審計(jì)平臺(tái)采用新的技術(shù)架構(gòu)，使用基于大數(shù)據(jù)集群的分布式計(jì)算框架，同時(shí)結(jié)合基于大數(shù)據(jù)集群的復(fù)雜事件處理流程作為實(shí)時(shí)規(guī)則分析引擎，從而能夠高效并行地運(yùn)行多種規(guī)則，并能夠?qū)崟r(shí)檢測(cè)異常事件。
3．統(tǒng)計(jì)及分析。
按照數(shù)據(jù)分析的實(shí)時(shí)性，分為實(shí)時(shí)數(shù)據(jù)分析和離線數(shù)據(jù)分析。大數(shù)據(jù)平臺(tái)在數(shù)據(jù)預(yù)處理時(shí)使用的分布式計(jì)算框架Storm就非常適合對(duì)海量數(shù)據(jù)進(jìn)行實(shí)時(shí)的統(tǒng)計(jì)計(jì)算，并能夠快速反饋統(tǒng)計(jì)結(jié)果。Storm框架利用嚴(yán)格且高效的事件處理流程保證運(yùn)算時(shí)數(shù)據(jù)的準(zhǔn)確性，并提供多種實(shí)時(shí)統(tǒng)計(jì)接口以使用。
4．?dāng)?shù)據(jù)挖掘。
數(shù)據(jù)挖掘是在沒有明確假設(shè)的前提下去挖掘信息、發(fā)現(xiàn)知識(shí)，所以它所得到的信息具有未知、有效、實(shí)用三個(gè)特征。與傳統(tǒng)統(tǒng)計(jì)及分析過程不同的是，大數(shù)據(jù)環(huán)境下的數(shù)據(jù)挖掘一般沒有預(yù)先設(shè)定好的主題，主要是在現(xiàn)有數(shù)據(jù)上面進(jìn)行基于各種算法的計(jì)算，從而起到預(yù)測(cè)的效果，并進(jìn)一步實(shí)現(xiàn)一些高級(jí)別數(shù)據(jù)分析的需求。
大數(shù)據(jù)分析信息安全日志的解決方案
統(tǒng)一日志審計(jì)與安全大數(shù)據(jù)分析平臺(tái)能夠?qū)崟r(shí)不間斷地將用戶網(wǎng)絡(luò)中來自不同廠商的安全設(shè)備、網(wǎng)絡(luò)設(shè)備、主機(jī)、操作系統(tǒng)、數(shù)據(jù)庫系統(tǒng)、用戶業(yè)務(wù)系統(tǒng)的日志和警報(bào)等信息匯集到管理中心，實(shí)現(xiàn)全網(wǎng)綜合安全審計(jì)；同時(shí)借助大數(shù)據(jù)分析和挖掘技術(shù)，通過各種模型場(chǎng)景發(fā)現(xiàn)各種網(wǎng)絡(luò)行為、用戶異常訪問和操作行為。
1．系統(tǒng)平臺(tái)架構(gòu)。
以國(guó)內(nèi)某大數(shù)據(jù)安全分析系統(tǒng)為例，其架構(gòu)包括大數(shù)據(jù)采集平臺(tái)、未知威脅感知系統(tǒng)、分布式實(shí)時(shí)計(jì)算系統(tǒng)(Storm)、復(fù)雜事件處理引擎(Esper)、Hadoop平臺(tái)、分布式文件系統(tǒng)(HDFS)、分布式列數(shù)據(jù)庫(Hbase)、分布式并行計(jì)算框架(Map／Reduce、Spark)、數(shù)據(jù)倉庫(Hive)、分布式全文搜索引擎(ElasticSearch)、科學(xué)計(jì)算系統(tǒng)(Euler)。這些技術(shù)能夠解決用戶對(duì)海量事件的采集、處理、分析、挖掘和存儲(chǔ)的需求。
如圖1所示，系統(tǒng)能夠?qū)崟r(shí)地對(duì)采集到的不同類型的信息進(jìn)行歸一化和實(shí)時(shí)關(guān)聯(lián)分析，通過統(tǒng)一的控制臺(tái)界面進(jìn)行實(shí)時(shí)、可視化的呈現(xiàn)，協(xié)助安全管理人員迅速準(zhǔn)確地識(shí)別安全事件，提高工作效率。
2．實(shí)現(xiàn)功能。
系統(tǒng)能夠?qū)崿F(xiàn)的功能包括：審計(jì)范圍覆蓋網(wǎng)絡(luò)環(huán)境中的全部網(wǎng)絡(luò)設(shè)備、安全設(shè)備、服務(wù)器、數(shù)據(jù)庫、中間件、應(yīng)用系統(tǒng)，覆蓋200多種設(shè)備和應(yīng)用中的上萬類日志，快速支持用戶業(yè)務(wù)系統(tǒng)日志審計(jì)；系統(tǒng)收集企業(yè)和組織中的所有安全日志和告警信息，通過歸一化和智能日志關(guān)聯(lián)分析引擎，協(xié)助用戶準(zhǔn)確、快速地識(shí)別安全事故；通過系統(tǒng)的.安全事件并及時(shí)做出安全響應(yīng)操作，為用戶的網(wǎng)絡(luò)環(huán)境安全提供保障；通過已經(jīng)審計(jì)到的各種審計(jì)對(duì)象日志，重建一段時(shí)間內(nèi)可疑的事件序列，分析路徑，幫助安全分析人員快速發(fā)現(xiàn)源；整個(gè)Hadoop的體系結(jié)構(gòu)主要通過分布式文件系統(tǒng)(HDFS)來實(shí)現(xiàn)對(duì)分布式存儲(chǔ)的底層支持。
3．應(yīng)用場(chǎng)景。
上述系統(tǒng)可解決傳統(tǒng)日志審計(jì)無法實(shí)現(xiàn)的日志關(guān)聯(lián)分析和智能定位功能。如在企業(yè)的網(wǎng)絡(luò)系統(tǒng)中，大范圍分布的網(wǎng)絡(luò)設(shè)備、安全設(shè)備、服務(wù)器等實(shí)時(shí)產(chǎn)生的日志量非常大，要從其中提取想要的信息非常困難，而要從設(shè)備之間的關(guān)聯(lián)來判斷設(shè)備故障也將是一大難點(diǎn)。例如，某企業(yè)定位某設(shè)備與周圍直連設(shè)備的日志消息相關(guān)聯(lián)起來判斷該設(shè)備是否存在異�；蚬收�，如對(duì)于其中一臺(tái)核心交換機(jī)SW1，與之直連的所有設(shè)備如果相繼報(bào)接口down的日志，則可定位該設(shè)備SWl為故障設(shè)備，此時(shí)應(yīng)及時(shí)做出響應(yīng)。而傳統(tǒng)數(shù)據(jù)難以通過周圍設(shè)備的關(guān)聯(lián)告警來定位該故障，大數(shù)據(jù)審計(jì)平臺(tái)則是最好的解決方法。
大數(shù)據(jù)分析方法可以利用實(shí)體關(guān)聯(lián)分析、地理空間分析和數(shù)據(jù)統(tǒng)計(jì)分析等技術(shù)來分析實(shí)體之間的關(guān)系，并利用相關(guān)的結(jié)構(gòu)化和非結(jié)構(gòu)化的信息來檢測(cè)非法活動(dòng)。對(duì)于集中存儲(chǔ)起來的海量信息，可以讓審計(jì)人員借助歷史分析工具對(duì)日志進(jìn)行深度挖掘、調(diào)查取證、證據(jù)保全。
【基于大數(shù)據(jù)審計(jì)的信息安全日志分析法】相關(guān)文章：
日志大的失望04-14
信息能力提升研修日志12-07
信息提升工程研修日志11-20
信息技術(shù)研修日志11-26
教育信息化日志02-22
愛在吉大日志04-30
審計(jì)工作日志的寫法01-29
信息技術(shù)能力研修日志08-13