Java使用正則表達式取網頁中的一段內容(以取Js方法爲例)

關於正則表達式:

表1.經常使用的元字符

代碼	說明
.	匹配除換行符之外的任意字符
\w	匹配字母或數字或下劃線或漢字
\s	匹配任意的空白符
\d	匹配數字
\b	匹配單詞的開始或結束
^	匹配字符串的開始
$	匹配字符串的結束

 

表2.經常使用的限定符

代碼/語法	說明
*	重複零次或更屢次
+	重複一次或更屢次
?	重複零次或一次
{n}	重複n次
{n,}	重複n次或更屢次
{n,m}	重複n到m次

 

表3.經常使用的反義代碼

代碼/語法	說明
\W	匹配任意不是字母，數字，下劃線，漢字的字符
\S	匹配任意不是空白符的字符
\D	匹配任意非數字的字符
\B	匹配不是單詞開頭或結束的位置
[^x]	匹配除了x之外的任意字符
[^aeiou]	匹配除了aeiou這幾個字母之外的任意字符

 

表4.經常使用分組語法

分類	代碼/語法	說明
捕獲	(exp)	匹配exp,並捕獲文本到自動命名的組裏
	(?<name>exp)	匹配exp,並捕獲文本到名稱爲name的組裏，也能夠寫成(?'name'exp)
	(?:exp)	匹配exp,不捕獲匹配的文本，也不給此分組分配組號
零寬斷言	(?=exp)	匹配exp前面的位置
	(?<=exp)	匹配exp後面的位置
	(?!exp)	匹配後面跟的不是exp的位置
	(?<!exp)	匹配前面不是exp的位置
註釋	(?#comment)	這種類型的分組不對正則表達式的處理產生任何影響，用於提供註釋讓人閱讀

 

 

表5.懶惰限定符

代碼/語法	說明
*?	重複任意次，但儘量少重複
+?	重複1次或更屢次，但儘量少重複
??	重複0次或1次，但儘量少重複
{n,m}?	重複n到m次，但儘量少重複
{n,}?	重複n次以上，但儘量少重複

 

 

表6.經常使用的處理選項

名稱	說明
IgnoreCase(忽略大小寫)	匹配時不區分大小寫。
Multiline(多行模式)	更改^和$的含義，使它們分別在任意一行的行首和行尾匹配，而不單單在整個字符串的開頭和結尾匹配。(在此模式下,$的精確含意是:匹配\n以前的位置以及字符串結束前的位置.)
Singleline(單行模式)	更改.的含義，使它與每個字符匹配（包括換行符\n）。
IgnorePatternWhitespace(忽略空白)	忽略表達式中的非轉義空白並啓用由#標記的註釋。
ExplicitCapture(顯式捕獲)	僅捕獲已被顯式命名的組。

 

 

表7.其餘

代碼/語法	說明
\a	報警字符(打印它的效果是電腦嘀一聲)
\b	一般是單詞分界位置，但若是在字符類裏使用表明退格
\t	製表符，Tab
\r	回車
\v	豎向製表符
\f	換頁符
\n	換行符
\e	Escape
\0nn	ASCII代碼中八進制代碼爲nn的字符
\xnn	ASCII代碼中十六進制代碼爲nn的字符
\unnnn	Unicode代碼中十六進制代碼爲nnnn的字符
\cN	ASCII控制字符。好比\cC表明Ctrl+C
\A	字符串開頭(相似^，但不受處理多行選項的影響)
\Z	字符串結尾或行尾(不受處理多行選項的影響)
\z	字符串結尾(相似$，但不受處理多行選項的影響)
\G	當前搜索的開頭
\p{name}	Unicode中命名爲name的字符類，例如\p{IsGreek}
(?>exp)	貪婪子表達式
(?<x>-<y>exp)	平衡組
(?im-nsx:exp)	在子表達式exp中改變處理選項
(?im-nsx)	爲表達式後面的部分改變處理選項
(?(exp)yes|no)	把exp看成零寬正向先行斷言，若是在這個位置能匹配，使用yes做爲此組的表達式；不然使用no
(?(exp)yes)	同上，只是使用空表達式做爲no
(?(name)yes|no)	若是命名爲name的組捕獲到了內容，使用yes做爲表達式；不然使用no
(?(name)yes)	同上，只是使用空表達式做爲no

 

這幾個表引自http://www.jb51.net/tools/zhengze.html#getstarted

下面以獲取淘寶登陸頁面(https://login.taobao.com/member/login.jhtml)的一個js方法爲例:

以下所示,取UA_Opt的定義這一段內容.

 

package com.amos;

import org.apache.http.HttpResponse;
import org.apache.http.client.HttpClient;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.DefaultHttpClient;
import org.apache.http.util.EntityUtils;

import java.util.regex.Matcher;
import java.util.regex.Pattern;
public class Test{
//main方法:
public static void main(String args[]){
HttpClient httpClient = new DefaultHttpClient();
        String loginURL = "https://login.taobao.com/member/login.jhtml";

        HttpGet httpGet = new HttpGet(loginURL);
        HttpResponse loginResponse = httpClient.execute(httpGet);
        String loginString = EntityUtils.toString(loginResponse.getEntity());
        System.out.println("loginString:\n"+loginString);
        Matcher matcher = Pattern.compile("var UA_Opt =(.*?)</script>").matcher(loginString.replaceAll("\\r|\\t|\\n|\\a","")); while(matcher.find()){
            System.out.println(matcher.group(1));
        }
        httpGet.releaseConnection();
}
}

注意上面的表格4的內容,這裏用的就是上面的方法.

使用java截取js方法,首先,將換行符製表符回車符報警符都替換掉(loginString.replaceAll("\\r|\\t|\\n|\\a","")),這樣在截取時就不會出問題了

截取的時候"var UA_Opt =(.*?)</script>",中間的(.*?)表示匹配任何內容,而後是以var UA_Opt=開的頭,而後以</script>標籤結尾,取到的內容,再以matcher.group(1),即取到了咱們所須要的內容.

注意空格不要被替換掉了,否則一堆字符串就看的眼花了,最終的結果爲:

new Object;   UA_Opt.ExTarget = [ 'TPL_password_1','J_Pwd1','J_PwdV'];   UA_Opt.ResHost = 'acjstb.aliyun.com';   UA_Opt.FormId = "J_StaticForm";   UA_Opt.LogVal = "log";    UA_Opt.Token = new Date().getTime()+":"+Math.random();     UA_Opt.ImgUrl = "";     UA_Opt.GetAttrs = ['href', 'src'];    UA_Opt.MaxMCLog = 150;     UA_Opt.MaxKSLog = 150;     UA_Opt.MaxMPLog = 150;     UA_Opt.MPInterval = 150;     UA_Opt.SendInterval = 10;     UA_Opt.SendMethod = 1;   UA_Opt.Flag = 131071;