1、 JSOUP簡介

在以往用java來處理解析HTML文檔或者片斷時，咱們一般會採用htmlparser（http://htmlparser.sourceforge.net/）這個開源類庫。如今咱們有了JSOUP，之後的處理HTML的內容只須要使用JSOUP就已經足夠了，JSOUP有更快的更新，更方便的API等。css

jsoup 是一款 Java 的HTML 解析器，可直接解析某個URL地址、HTML文本內容。它提供了一套很是省力的API，可經過DOM，CSS以及相似於jQuery的操做方法來取出和操做數據，能夠看做是java版的jQuery。html

jsoup的主要功能以下：java

從一個URL，文件或字符串中解析HTML；
使用DOM或CSS選擇器來查找、取出數據；
可操做HTML元素、屬性、文本；

jsoup是基於MIT協議發佈的，可放心使用於商業項目。官方網站：http://jsoup.org/node

2、解析遍歷HTML文檔

Jsoup處理HTML文件是，是將用戶輸入的HTML文檔，解析轉換成一個Document對象進行處理。Jsoup通常支持如下幾種來源內容的轉換。jquery

解析一個html字符串
解析一個body片斷
根據一個url地址加載Document對象
根據一個文件加載Document對象

(一)解析一個html字符串

在處理一個html字符串。咱們可能須要對其進行解析，並提取其內容，或校驗其格式是否完整，或者想修改它。Jsoup能夠幫助咱們輕鬆的解決這些問題。css3

在Jsoup中有一個這樣的靜態方法Jsoup.parse(String html)，能夠將咱們的html片斷轉換成Document對象。示例以下：web

1 2	`String html =` `"<div><p align=\"center\"><img alt=\"\" width=\"660\" height=\"852\" src=\"/erp/UserFiles/Image/51.jpg\" />這是P元素的內容</p>"` `;` `Document document = Jsoup.parse(html);`

使用上面的方法，就能夠將html字符串，轉換成Document對象，一旦有了Document對象，咱們就可使用其中適當的方法根據需求處理問題。咱們能夠看到這裏轉換的html片斷並非一個合法的html片斷，裏面的div標籤沒有閉合。這對於Jsoup來講不是問題，它能夠很好的處理這類問題。api

(二) 解析body片斷

假如咱們如今有一個HTML片段 (好比. 一個 div 包含一對 p 標籤; 一個不完整的HTML文檔) 想對它進行解析。這個HTML片段能夠是用戶提交的一條評論或在一個CMS頁面中編輯body部分。咱們可使用使用Jsoup.parseBodyFragment(String html)方法。cookie

示例以下：app

1 2	`String html =` `"<div><p align=\"center\"><img alt=\"\" width=\"660\" height=\"852\" src=\"/erp/UserFiles/Image/51.jpg\" />這是P元素的內容</p>"` `;` `Document document = Jsoup.parseBodyFragment(html);`

看到這裏可能會有疑問，這個和上面的html片斷是同樣的嘛。沒錯是同樣的，parseBodyFragment 方法建立一個空殼的文檔，並插入解析過的HTML到body元素中。假如使用正常的 Jsoup.parse(String html) 方法，一般也能夠獲得相同的結果，可是明確將用戶輸入做爲 body片斷處理，以確保用戶所提供的任何糟糕的HTML都將被解析成body元素。

Document.body() 方法可以取得文檔body元素的全部子元素，與doc.getElementsByTag("body")相同。

(三) 根據一個URL地址加載Document對象

有時候咱們可能但願經過一個url地址，而後提取裏面的內容，轉換成document對象。咱們之前多是使用http client等模擬一個請求，而後取得返回內容等，使用Jsoup方便簡單的解決這個問題。示例以下：

1

2

3

 
              Document document = Jsoup.connect( 
              "http://www.baidu.com" 
              ).get(); 
             
              String title = document.title(); 
             
              String text = document.text();

connect(String url) 方法建立一個新的 Connection, 和 get() 取得和解析一個HTML文件。若是從該URL獲取HTML時發生錯誤，便會拋出 IOException，應適當處理。

Connection 接口還提供一個方法鏈來解決特殊請求，具體以下：

1	`Document doc = Jsoup.connect(` `"http://test.com"` `).data(` `"query"` `,` `"Java"` `).userAgent(` `"Mozilla"` `).cookie(` `"auth"` `,` `"token"` `).timeout(` `3000` `).post();`

能夠向連接地址post參數，設置userAgent，cookie，timeout等，並且這裏是採用的連接操做很方便（熟悉jQuery的應該很熟悉這樣的連接操做）。

(四)根據文件加載document

有時候咱們要處理的html內容，多是存在硬盤上的某個文件裏面，咱們須要從中提取或者解析某些內容出來，咱們能夠經過Jsoup來這樣處理。示例代碼以下：

1 2	`File input =` `new` `File(` `"d:/input.html"` `);` `Document doc = Jsoup.parse(input,` `"UTF-8"` `,` `"http://test.com/"` `);`

看到這裏可能有一個疑問，第一個參數是文件，第二是編碼，第三個是什麼呢?第三個參數是baseUrl，使用他咱們能夠方便的處理相對路徑問題，若是不須要能夠不傳，這是一個多態方法，在前面的三個部分裏面，均可以再加一個這樣的baseUrl，後面會詳細講述。

3、數據抽取

(一) 使用Dom方法遍歷文檔

經過第二章咱們能夠獲取一個document的對象，咱們能夠經過這個對象來遍歷文檔，如：

1

2

3

4

5

6

7

 
              Document doc = Jsoup.parse(input,  
              "UTF-8" 
              ,  
              "http://test.com/" 
              ); 
             
              Element content = doc.getElementById( 
              "content" 
              ); 
             
              Elements links = content.getElementsByTag( 
              "a" 
              ); 
             
              for 
              (Element link : links) { 
             
              String linkHref = link.attr( 
              "href" 
              ); 
             
              String linkText = link.text(); 
             
              }

這裏咱們能夠方便的使用Doument對象的方法來獲取內容。經常使用方法以下：

查找元素

getElementById(String id)
getElementsByTag(String tag)
getElementsByClass(String className)
getElementsByAttribute(String key) (and related methods)
Element siblings: siblingElements(), firstElementSibling(), lastElementSibling();nextElementSibling(), previousElementSibling()
Graph: parent(), children(), child(int index)

元素數據

attr(String key)獲取屬性attr(String key, String value)設置屬性
attributes()獲取全部屬性
id(), className() and classNames()
text()獲取文本內容text(String value) 設置文本內容
html()獲取元素內HTMLhtml(String value)設置元素內的HTML內容
outerHtml()獲取元素外HTML內容
data()獲取數據內容（例如：script和style標籤)
tag() and tagName()

操做HTML和文本

(二) 使用選擇器來查找元素

使用jQuery時，咱們無不爲其強大的選擇器歎服，jsoup有一樣的強大的選擇器，能夠方便咱們的對文檔進行處理。示例代碼以下：

1

2

3

4

5

6

 
              Elements links = doc.select( 
              "a[href]" 
              );  
              //帶有<span style="text-decoration: underline;">href</span>屬性的a元素 
             
              Elements pngs = doc.select( 
              "img[src$=.png]" 
              ); 
             
              //擴展名爲.<span style="text-decoration: underline;">png</span>的圖片 
             
              Element masthead = doc.select( 
              "div.masthead" 
              ).first(); 
             
              //class等於<span style="text-decoration: underline;">masthead</span>的<span style="text-decoration: underline;">div</span>標籤 
             
              Elements resultLinks = doc.select( 
              "h3.r > a" 
              );  
              //在h3元素以後的a元素

jsoup elements對象支持相似於CSS (或jquery)的選擇器語法，來實現很是強大和靈活的查找功能。.

這個select 方法在Document, Element,或Elements對象中均可以使用。且是上下文相關的，所以可實現指定元素的過濾，或者鏈式選擇訪問。

Select方法將返回一個Elements集合，並提供一組方法來抽取和處理結果。

(三) 從元素中抽取屬性和文檔

使用Jsoup抽取屬性，通常方法以下：

要取得一個屬性的值，可使用Node.attr(String key) 方法
對於一個元素中的文本，可使用Element.text()方法
對於要取得元素或屬性中的HTML內容，可使用Element.html(), 或 Node.outerHtml()方法

示例以下：

 
              String html =  
              "<p>An <a href='http://example.com/'><b>example</b></a> link.</p>" 
              ; 
             
              Document doc = Jsoup.parse(html); 
              //解析HTML字符串返回一個Document實現 
             
              Element link = doc.select( 
              "a" 
              ).first(); 
              //查找第一個a元素</pre> 
             
              String text = doc.body().text();  
              // "An example link"//取得字符串中的文本 
             
              String linkHref = link.attr( 
              "href" 
              );  
              // "http://example.com/"//取得連接地址 
             
              String linkText = link.text();  
              // "example""//取得連接地址中的文本</pre> 
             
              String linkOuterH = link.outerHtml(); 
             
              // "<a href="http://example.com"><b>example</b></a>" 
             
              String linkInnerH = link.html();  
              // "<b>example</b>"//取得連接內的html內容

(四) URL處理

咱們在處理HTML內容時，可能常常會遇到這種問題，須要將html頁面裏面的連接地址從相對地址轉換成絕對地址，jsoup有一個方法用來解決此問題。咱們前面對到的baseurl，就是用來解決此問題的。示例代碼以下：

1

2

3

4

5

 
              Document doc = Jsoup.connect( 
              "http://www.baidu.com/" 
              ).get(); 
             
              Element link = doc.select( 
              "a" 
              ).first(); 
             
              String relHref = link.attr( 
              "href" 
              );  
              // == "/" 
             
              String absHref = link.attr( 
              "abs:href" 
              ); 
             
              // "http://www.baidu.com/gaoji/preferences.html"

在HTML元素中，URLs常常寫成相對於文檔位置的相對路徑： <a href="/download">...</a>. 當你使用 Node.attr(String key) 方法來取得a元素的href屬性時，它將直接返回在HTML源碼中指定定的值。

假如你須要取得一個絕對路徑，須要在屬性名前加 abs: 前綴。這樣就能夠返回包含根路徑的URL地址attr("abs:href")

所以，在解析HTML文檔時，定義base URI很是重要。若是你不想使用abs: 前綴，還有一個方法可以實現一樣的功能 Node.absUrl(String key)。

4、數據修改

(一) 設置屬性值

在處理html時，咱們有時候可能須要修改裏面的屬性值，如圖片地址、class名稱等各類屬性。

可使用屬性設置方法 Element.attr(String key, String value), 和 Elements.attr(String key, String value).

假如你須要修改一個元素的 class 屬性，可使用 Element.addClass(String className) 和Element.removeClass(String className) 方法。

Elements 提供了批量操做元素屬性和class的方法，好比：要爲div中的每個a元素都添加一個rel="nofollow"
可使用以下方法：

1	`doc.select(` `"div.comments a"` `).attr(` `"rel"` `,` `"nofollow"` `);`

這裏的jsoup方法一樣支持連接操做，以下：

1	`doc.select(` `"div.masthead"` `).attr(` `"title"` `,` `"jsoup"` `).addClass(` `"round-box"` `);`

(二) 設置元素的html內容

咱們須要向html裏面添加html片斷等內容時能夠以下操做：

 
              Element div = doc.select( 
              "div" 
              ).first();  
              // <div></div> 
             
 
              div.html( 
              "<p>lorem ipsum</p>" 
              );  
              // <div><p>lorem ipsum</p></div> 
             
 
              div.prepend( 
              "<p>First</p>" 
              ); 
              //在div前添加html內容 
             
 
              div.append( 
              "<p>Last</p>" 
              ); 
              //在div以後添加html內容 
             
 
              // 添完後的結果: <div><p>First</p><p>lorem ipsum</p><p>Last</p></div> 
             
 
              Element span = doc.select( 
              "span" 
              ).first();  
              // <span>One</span> 
             
 
              span.wrap( 
              "<li><a href='http://example.com/'></a></li>" 
              ); 
             
 
              //對元素包裹一個外部HTML內容添完後的結果: 
             
 
              //<li><a href="http://example.com"><span>One</span></a></li> 
             

(三) 設置元素的文本內容

若是咱們須要修改元素內的文本內容，能夠以下操做：

1

2

3

4

5

 
              Element div = doc.select( 
              "div" 
              ).first();  
              // <div></div> 
             
 
              div.text( 
              "five > four" 
              );  
              // <div>five &gt; four</div> 
             
 
              div.prepend( 
              "First " 
              ); 
             
 
              div.append( 
              " Last" 
              ); 
             
 
              // now: <div>First five &gt; four Last</div> 
             

說明

文本設置方法與 HTML setter 方法同樣：

Element.text(String text) 將清除一個元素中的內部HTML內容，而後提供的文本進行代替

Element.prepend(String first) 和 Element.append(String last) 將分別在元素的內部html先後添加文本節點。

對於傳入的文本若是含有像 <, > 等這樣的字符，將以文本處理，而非HTML。

使用Jsoup解析html網頁