discuz論壇apache日誌hadoop大數據分析項目：清洗數據核心功能解說及代碼實現

時間 2019-12-12

標籤 discuz 論壇 apache 日誌 hadoop 大數據分析項目清洗數據核心功能解說代碼實現欄目 Discuz 简体版

原文原文鏈接

discuz論壇apache日誌hadoop大數據分析項目：清洗數據核心功能解說及代碼實現
http://www.aboutyun.com/thread-8637-1-1.html
(出處: about雲開發)php

咱們在進行日誌分析的時候，那麼日誌的數據是雜亂無章的，或則說日誌的數據並非咱們都想看到的。因此咱們須要對裏面的數據進行清洗，說的直白一點就是要過濾裏面的字符串。
下面即是咱們須要過濾的數據：

html

183.131.11.98 - - [01/Aug/2014:01:01:05 +0800] "GET /thread-5981-1-1.html HTTP/1.1" 200 18152 "http://www.baidu.com/s?wd=cocos2dx%203.2%20wp8%E6%94%AF%E6%8C%81&pn=30&oq=cocos2dx%203.2%20wp8%E6%94%AF%E6%8C%81&tn=28035039_2_pg&ie=utf-8&rsv_page=1" "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.107 UBrowser/1.0.349.1252 Safari/537.36"

這裏若是對日誌不瞭解或則不瞭解日誌分析，可能會產生問題？爲何過濾這條數據，就能達到清洗的目的。這裏所講的只是核心內容，對於運行mapreduce來處理，能夠看後面的文章。我這裏重點講如何把上面的數據，過濾出咱們想要的數據。
咱們須要什麼數據，從about雲分析discuz論壇apache日誌hadoop大數據項目：概要設計說明書中，咱們須要過濾出下面數據：

java

1.ip地址
2.訪問時間
3.url地址
4.用戶使用瀏覽器

過濾分析

1.ip地址獲取

上面ip地址仍是比較好過濾的，分隔符爲 - -便可獲得咱們想要的數據

ipField = line.split("- -")[0].trim();

2.訪問時間
訪問時間，想獲取時間容易，可是想作一個文藝程序員仍是得費點功夫。
[01/Aug/2014:01:01:05 +0800] ，對於這個有的採用直接獲取01/Aug/2014:01:01:05的這種方式，這種方式沒有錯，算是一個正常程序員所作的事情。那麼咱們該怎麼作的文藝優雅一點。這裏是直接獲取01/Aug/2014:01:01:05 +0800，這裏是由相關函數的。程序員

dt = new SimpleDateFormat("dd/MMM/yyyy:HH:mm:ss Z", Locale.US).parse(time);

複製代碼

咱們使用這個函數，將其轉換爲正常的時間格式。可是咱們想要咱們中國人可以一眼識別的正常時間。apache

2014年8月1日下午07時04分58秒

若是你採用了這種形式20140801070458，這個既不是文藝程序員、也不是正常程序員所作的事情，就只剩下2比程序員這個職稱了。
ok,下面咱們作的文藝一點。
但是咱們怎麼才能獲得下面時間，一個個進行組合，getYarn()+getMonth......等，完，又步入2比程序員的行列。api

2014年8月1日下午07時04分58秒

複製代碼

這裏介紹一個簡單的方法瀏覽器

DateFormat df1 = DateFormat.getDateTimeInstance(DateFormat.LONG,DateFormat.LONG);

複製代碼

dateField = df1.format(dt);

複製代碼

這樣就完美解決這個問題，不須要組合，只須要getDateTimeInstance傳遞參數便可，更多的時間格式參考Java新api獲取年月日時分秒

3.url與瀏覽器的獲取
這裏面關鍵是對轉義字符的理解正確，好比如何以雙引號做爲分隔符，如何以括號爲分隔符。

解說完畢直接上代碼：

函數

package www.aboutyun.com;
import java.text.DateFormat;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.Locale;
public class test {
public static void StringResolves(String line) throws ParseException {
String ipField, dateField, urlField, browserField;
// 獲取ip地址
ipField = line.split("- -")[0].trim();
// 獲取時間,並轉換格式
int getTimeFirst = line.indexOf("[");
int getTimeLast = line.indexOf("]");
String time = line.substring(getTimeFirst + 1, getTimeLast).trim();
Date dt = null;
DateFormat df1 = DateFormat.getDateTimeInstance(DateFormat.LONG,
DateFormat.LONG);
dt = new SimpleDateFormat("dd/MMM/yyyy:HH:mm:ss Z", Locale.US)
.parse(time);
dateField = df1.format(dt);
// 獲取url
String[] getUrl = line.split("\"");
String firtGeturl = getUrl[1].substring(3).trim();
String secondGeturl = getUrl[3].trim();
urlField = firtGeturl + "分隔符" + secondGeturl;
// 獲取瀏覽器
String[] getBrowse = line.split("\"");
String strBrowse = getBrowse[5].toString();
String str = "(KHTML, like Gecko)";
int i = strBrowse.indexOf(str);
strBrowse = strBrowse.substring(i);
String strBrowse1[] = strBrowse.split("\\/");
strBrowse = strBrowse1[0].toString();
String strBrowse2[] = strBrowse.split("\\)");
strBrowse = strBrowse2[1].trim();
System.out.println(ipField);
System.out.println(dateField);
System.out.println(urlField);
System.out.println(strBrowse);
}
public static void main(String[] args) throws ParseException {
// TODO Auto-generated method stub
String browser = "203.100.80.88 - - [01/Aug/2014:19:04:58 +0800] \"GET /uc_server/avatar.php?uid=3841&size=small HTTP/1.1\" 301 463 \"http://www.aboutyun.com/forum.php\" \"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.95 Safari/537.36 SE 2.X MetaSr 1.0";
test.StringResolves(browser );
}
}