1Web日志數(shù)據(jù)分析模型的設計思想與實現(xiàn)
1Web日志數(shù)據(jù)分析模型的設計思想
本論文設計平臺通過對web日志文件分析，統(tǒng)計出哪個頁面最受歡迎，訪問者來自哪里，訪問時段分布情況等。分析結果生成HTML代碼，最終通過瀏覽器以頁面的形式將各種報表呈現(xiàn)在用戶面前。其中要用到目前比較常用的ASP技術，由于要將海量的日志數(shù)據(jù)存入，所以還要用到SQL-Server這個功能強大的數(shù)據(jù)庫。
1.1系統(tǒng)的體系結構
Web日志數(shù)據(jù)分析系統(tǒng)的主要用戶是一般企業(yè)網站或個人網站管理員，目前常見的網絡開發(fā)模式共有3種體系結構：兩層Client/Server（C/S）體系結構；三層Client/Server/Database（C/S/D）體系結構；三層Browser/Server/Database（B/S/D）體系結構。綜合考慮本系統(tǒng)的用戶群特點及這三種體系結構特點，最終采用的體系結構是目前國際上流行的“Browser/WebServer/Database”即三層網絡結構模型。這種體系結構簡單實用，客戶端只要采用標準瀏覽器與網絡進行連接就可以了。
1.2系統(tǒng)功能模塊設計
系統(tǒng)功能模塊是系統(tǒng)與用戶交互的接口，本系統(tǒng)包括：數(shù)據(jù)預處理模塊、基本分析模塊、智能分析模塊和可視化模塊，系統(tǒng)功能模塊.數(shù)據(jù)預處理模塊：該模塊主要功能是首先去掉原先存放在關系數(shù)據(jù)庫中的部分沒有用的原始日志，然后設置日志文件格式、采樣方法，依據(jù)包含替換規(guī)則對數(shù)據(jù)進行凈化，再將該數(shù)據(jù)導入源數(shù)據(jù)庫，形成頁面映射表信息，最后形成用戶表�；痉治瞿K：該模塊主要是對網站的訪問情況進行以下6方面的統(tǒng)計匯總，即時段分析模塊、地域分析模塊、來源統(tǒng)計模塊、客戶端分析模塊、受訪頁分析模塊、搜索引擎模塊。智能分析模塊：該模塊主要功能是利用關聯(lián)規(guī)則對Web站點的頁面之間的鏈接關系和站點結構進行分析，構建一個新的Web站點拓撲結構，尋有關聯(lián)的客戶群體，開展有針對性和個性化的電子商務活動。
2Web日志數(shù)據(jù)分析系統(tǒng)功能的實現(xiàn)
2.1數(shù)據(jù)收集
由于本系統(tǒng)是對Web日志的分析，所以數(shù)據(jù)收集部分的工作實際上就是對日志的收集工作，所以最重要得一點是網站的管理者允許對其日志文件進行研究，在同意對日志文件保密的前提下，筆者從電腦商網中國IT商務門戶（www.cnitsw.com）獲取了一段時間的網站日志文件以此作為分析對象。
2.2數(shù)據(jù)預處理
數(shù)據(jù)的預處理過程是將Web日志整理成適合數(shù)據(jù)挖掘的數(shù)據(jù)模型。整個挖掘預處理過程分為數(shù)據(jù)凈化、用戶識別、會話識別、路徑補充、事務識別5個步驟。
2.3智能分析模塊實現(xiàn)
我們利用了Apriori算法的思想，但同時對APriori算法進行了改造，采用了改進的APriori算法進行頻繁路徑挖掘。改進Apriori是受到APriori算法的啟發(fā)，但它適合頻繁路徑的挖掘。
2.4基本分析模塊實現(xiàn)
基本分析可以分為兩個方面，一是網站整體的'訪問統(tǒng)計，另一方面是具體網頁的訪問分析。整體分析可以統(tǒng)計用戶數(shù)、點擊數(shù)，分析客戶端信息等等；對具體網頁可以統(tǒng)計其訪問量，以分析其受歡迎程度，也可表示其重要程度。這些工作的數(shù)據(jù)來源是預處理中數(shù)據(jù)清理階段產生的源數(shù)據(jù)庫和整個預處理階段后產生的用戶事務數(shù)據(jù)庫，實現(xiàn)方法也比較簡單，一般都是簡單的統(tǒng)計分析處理�；痉治瞿K由時段分析模塊、地域分析模塊、來源統(tǒng)計模塊、客戶端分析模塊、受訪頁分析模塊、搜索引擎分析模塊6個模塊組成。本文以時段分析模塊為例進行闡述。根據(jù)日志中的日期域（data）、時間域（time）以及所花時間域（time－taken）可以統(tǒng)計出每天哪個時段的訪問人數(shù)和具體逗留時間，每個小時訪問量的變化，通過一天中每小時的訪問數(shù)可以得出站點哪個時間段的訪問人數(shù)最多是訪問高峰期，進而分析出訪問人群的職業(yè)和上網習慣等相關信息。
Web日志數(shù)據(jù)分析是internet信息處理的一個重要應用，目前我們只是實現(xiàn)了一些簡單的功能，還可以對WEB日志的分析處理上進行某些更詳細的深入分析，譬如可以根據(jù)訪問者的登錄時間、訪問頁面、停留時間等信息進行統(tǒng)計分析，然后制定個性化的電子商務營銷策略，幫助電子商務網站在最短的時間內抓住最有效的客戶。還可根據(jù)以往時間段的訪問人數(shù)統(tǒng)計，對網站未來幾天或者某個時間段的訪問流量進行預測。
作者:吳敏綱 黃杰恒 鄭義平 單位:景德鎮(zhèn)陶瓷學院信息工程學院 景德鎮(zhèn)市第六人民醫(yī)院 景德鎮(zhèn)市國稅局直屬分局
【1Web日志數(shù)據(jù)分析模型的設計思想與實現(xiàn)】相關文章：
怎么實現(xiàn)日志模塊04-14
思想的沙漠的經典日志01-09
基于大數(shù)據(jù)審計的信息安全日志分析法02-26
還未實現(xiàn)的承諾情感日志12-26
婆婆的夙愿實現(xiàn)了情感日志04-10
分析愛情日志05-06
seo日志分析的重點04-14
在思想的樹林里流浪日志04-17
我們的時代我們的思想qq日志01-11