跟我一塊兒數據挖掘（20）——網站日誌挖掘

收集web日誌的目的

Web日誌挖掘是指採用數據挖掘技術，對站點用戶訪問Web服務器過程當中產生的日誌數據進行分析處理，從而發現Web用戶的訪問模式和興趣愛好等，這些信息對站點建設潛在有用的可理解的未知信息和知識，用於分析站點的被訪問狀況，輔助站點管理和決策支持等。

一、以改進web站點設計爲目標，經過挖掘用戶聚類和用戶的頻繁訪問路徑，修改站點的頁面之間的連接關係，以適應用戶的訪問習慣，而且同時爲用戶提供有針對性的電子商務活動和個性化的信息服務，應用信息推拉技術構建智能化Web站點。

二、以分析Web站點性能爲目標，主要從統計學的角度，對日誌數據項進行粗略的統計分析，獲得用戶頻繁訪問頁、單位時間的訪問數、訪問數量隨時間分佈圖等。現有的絕大多數的Web日誌分析工具都屬於此類。

三、以理解用戶意圖爲目標，主要是經過與用戶交互的過程收集用戶的信息，Web服務器根據這些信息對用戶請求的頁面進行裁剪，爲用戶返回定製的頁面，其目的就是提升用戶的滿意度和提供個性化的服務。

收集方式

網站分析數據主要有三種收集方式：Web日誌、JavaScript標記和包嗅探器。

1. Web日誌

web日誌處理流程：

從上圖能夠看出網站分析數據的收集從網站訪問者輸入URL向網站服務器發出http請求就開始了。網站服務器接收到請求後會在本身的Log文件中追加一條記錄，記錄內容包括：遠程主機名(或者是IP地址)、登陸名、登陸全名、發請求的日期、發請求的時間、請求的詳細(包括請求的方法、地址、協議)、請求返回的狀態、請求文檔的大小。隨後網站服務器將頁面返回到訪問者的瀏覽器內得以展示。

2. JavaScript標記

JavaScript標記處理流程：

上圖所示JavaScript標記同Web日誌收集數據同樣，從網站訪問者發出http請求開始。不一樣的是，JavaScript標記返回給訪問者的網頁代碼中會包含一段特殊的JavaScript代碼，當頁面展現的同時這段代碼也得以執行。這段代碼會從訪問者的Cookie中取得詳細信息(訪問時間、瀏覽器信息、工具廠商賦予當前訪問者的userID等)併發送到工具商的數據收集服務器。數據收集服務器對收集到的數據處理後存入數據庫中。網站經營人員經過訪問分析報表系統查看這些數據。

3. 包嗅探器

經過包嗅探器收集分析的流程：

上圖能夠看出網站訪問者發出的請求到達網站服務器以前，會先通過包嗅探器，而後包嗅探器纔會將請求發送到網站服務器。包嗅探器收集到的數據通過工具廠商的處理服務器後存入數據庫。隨後網站經營人員就能夠經過分析報表系統看到這些數據。

web日誌挖掘過程

總體流程參考下圖：

一、數據預處理階段
    根據挖掘的目的，對原始Web日誌文件中的數據進行提取、分解、合併、最後轉換爲用戶會話文件。該階段是Web訪問信息挖掘最關鍵的階段，數據預處理包括:關於用戶訪問信息的預處理、關於內容和結構的預處理。

二、會話識別階段
    該階段本是屬於數據預處理階段中的一部分，這裏將其劃分紅單獨的一個階段，是由於把用戶會話文件劃分紅的一組組用戶會話序列將直接用於挖掘算法，它的精準度直接決定了挖掘結果的好壞，是挖掘過程當中最重要的階段。

三、模式發現階段
    模式發現是運用各類方法和技術從Web同志數據中挖掘和發現用戶使用Web的各類潛在的規律和模式。模式發現使用的算法和方法不只僅來自數據挖掘領域，還包括機器學習、統計學和模式識別等其餘專業領域。

模式發現的主要技術有：統計分析（statistical analysis）、關聯規則（association rules）、聚類（clustering）、歸類（classification）、序列模式（sequential patterns）、依賴關係（dependency）。

（1）統計分析（statistical analysis）：經常使用的統計技術有：貝葉斯定理、預測迴歸、對數迴歸、對數-線性迴歸等。可用來分析網頁的訪問頻率，網頁的訪問時間、訪問路徑。可用於系統性能分析、發現安全漏洞、爲網站修改、市場決策提供支持。

（2）關聯規則（association rules）：關聯規則是最基本的挖掘技術，同時也是WUM最經常使用的方法。在WUM中經常用在被訪問的網頁中，這有利於優化網站組織、網站設計者、網站內容管理者和市場分析，經過市場分析能夠知道哪些商品被頻繁購買，哪些顧客是潛在顧客。

（3）聚類（clustering）：聚類技術是在海量數據中尋找彼此類似對象組，這些數據基於距離函數求出對象組之間的類似度。在WUM中能夠把具備類似模式的用戶分紅組，能夠用於電子商務中市場分片和爲用戶提供個性化服務。

（4）歸類（classification）：歸類技術主要用途是將用戶資料納入某一特定類中，它與機器學習關係很緊密。能夠用的技術有：決策樹（decision tree）、K-最近鄰居、Naïve Bayesian classifiers、支持向量機（support vector machines）。

（5）序列模式（sequential patterns）：給定一個由不一樣序列組成的集合，其中，每一個序列由不一樣的元素按順序有序排列，每一個元素由不一樣項目組成，同時給定一個用戶指定的最小支持度閾值，序列模式挖掘就是找出全部的頻繁子序列，即子序列在序列集中的出現頻率不低於用戶指定的最小支持度閾值。

（6）依賴關係（dependency）：一個依賴關係存在於兩個元素之間，若是一個元素A的值能夠推出另外一個元素B的值，則B依賴於A。

四、模式分析階段
    模式分析是Web使用挖掘最後一步，主要目的是過濾模式發現階段產生的規則和模式，去除那些無用的模式，並把發現的模式經過必定的方法直觀的表現出來。因爲Web使用挖掘在大多數狀況下屬於無偏向學習，有可能挖掘出全部的模式和規則，因此不能排除其中有些模式是常識性的，普通的或最終用戶不感興趣的，故必須採用模式分析的方法使得挖掘出來的規則和知識具備可讀性和最終可理解性。常見的模式分析方法有圖形和可視化技術、數據庫查詢機制、數理統計和可用性分析等。

收集數據包括

收集的數據主要包括：

全局UUID、訪問日期、訪問時間、生成日誌項的服務器的IP地址、客戶端試圖執行的操做、客戶端訪問的服務器資源、客戶端嘗試執行的查詢、客戶端鏈接到的端口號、訪問服務器的已驗證用戶名稱、發送服務器資源請求的客戶端IP地址、客戶端使用的操做系統、瀏覽器等信息、操做的狀態碼（200等）、子狀態、用Windows@使用的術語表示的操做的狀態、點擊次數。

用戶識別

對於網站的運營者來講，如何可以高效精確的識別用戶很是關鍵，這會對網站運營帶來極大的幫助，如定向推薦等。

用戶識別方法以下：

使用HDFS存儲

數據收集到服務器以後，根據數據量能夠考慮將數據存儲在hadoop的HDFS中。

若是不熟悉HDFS，能夠參考：

http://www.niubua.com/?p=1107

在如今的企業中，通常狀況下都是多臺服務器生成日誌，日誌包括nginx生成的，也包括在程序中使用log4j生成的自定義格式的。

一般的架構以下圖：

使用mapreduce分析nginx日誌

nginx默認的日誌格式以下：

222.68.172.190 - - [18/Sep/2013:06:49:57 +0000] "GET /images/my.jpg HTTP/1.1" 200 19939
 "http://www.angularjs.cn/A00n" "Mozilla/5.0 (Windows NT 6.1)
 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.66 Safari/537.36"

變量的解釋以下：

• remote_addr: 記錄客戶端的ip地址, 222.68.172.190
• remote_user: 記錄客戶端用戶名稱, –
• time_local: 記錄訪問時間與時區, [18/Sep/2013:06:49:57 +0000]
• request: 記錄請求的url與http協議, 「GET /images/my.jpg HTTP/1.1″
• status: 記錄請求狀態,成功是200, 200
• body_bytes_sent: 記錄發送給客戶端文件主體內容大小, 19939
• http_referer: 用來記錄從那個頁面連接訪問過來的, 「http://www.angularjs.cn/A00n」
• http_user_agent: 記錄客戶瀏覽器的相關信息, 「Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.66 Safari/537.36″

能夠直接使用mapreduce來進行日誌分析：

在hadoop中計算後定時導入到關係型數據庫中進行展示。

要明細的分析能夠參考這篇：

http://www.tuicool.com/articles/2ANJZz

也可使用hive來代替mapreduce進行分析。

總結

web日誌收集是每一個互聯網企業必需要處理的過程，當收集上來數據，而且經過適當的數據挖掘以後，會對總體網站的運營能力及網站的優化帶來質的提高，真正的作到數據化分析和數據化運營。