jsoup的介紹使用(轉)

jsoup文檔: http://www.open-open.com/jsoup/css

原連接: http://www.oschina.net/question/12_14127html

jsoup 簡介

Java 程序在解析 HTML 文檔時，相信你們都接觸過 htmlparser 這個開源項目，我曾經在 IBM DW 上發表過兩篇關於 htmlparser 的文章，分別是：從HTML中攫取你所需的信息和擴展 HTMLParser 對自定義標籤的處理能力。但如今我已經再也不使用 htmlparser 了，緣由是 htmlparser 不多更新，但最重要的是有了 jsoup 。

jsoup 是一款 Java 的HTML 解析器，可直接解析某個URL地址、HTML文本內容。它提供了一套很是省力的API，可經過DOM，CSS以及相似於jQuery的操做方法來取出和操做數據。

jsoup的主要功能以下：

   1. 從一個URL，文件或字符串中解析HTML；
   2. 使用DOM或CSS選擇器來查找、取出數據；
   3. 可操做HTML元素、屬性、文本；

jsoup是基於MIT協議發佈的，可放心使用於商業項目。

jsoup 的主要類層次結構以下圖所示：

接下來咱們專門針對幾種常見的應用場景舉例說明 jsoup 是如何優雅的進行 HTML 文檔處理的。

文檔輸入

jsoup 能夠從包括字符串、URL地址以及本地文件來加載 HTML 文檔，並生成 Document 對象實例。

下面是相關代碼：web

 
      01 
      // 直接從字符串中輸入 HTML 文檔 
     
      02 
      String html = "<html><head><title>開源中國社區</title></head>" 
     
      03 
        + "<body><p>這裏是 jsoup 項目的相關文章</p></body></html>"; 
     
      04 
      Document doc = Jsoup.parse(html); 
     
      05 
        
      06 
      // 從URL直接加載 HTML 文檔 
     
      07 
      Document doc = Jsoup.connect("http://www.oschina.net/").get(); 
     
      08 
      String title = doc.title(); 
     
      09 
        
      10 
      Document doc = Jsoup.connect("http://www.oschina.net/") 
     
      11 
        .data("query", "Java")   //請求參數 
     
      12 
        .userAgent("I’m jsoup") //設置User-Agent 
     
      13 
        .cookie("auth", "token") //設置cookie 
     
      14 
        .timeout(3000)           //設置鏈接超時時間 
     
      15 
        .post();                 //使用POST方法訪問URL 
     
      16 
        
      17 
      // 從文件中加載 HTML 文檔 
     
      18 
      File input = new File("D:/test.html"); 
     
      19 
      Document doc = Jsoup.parse(input,"UTF-8","http://www.oschina.net/");

請你們注意最後一種 HTML 文檔輸入方式中的 parse 的第三個參數，爲何須要在這裏指定一個網址呢（雖然能夠不指定，如第一種方法）？由於 HTML 文檔中會有不少例如連接、圖片以及所引用的外部腳本、css文件等，而第三個名爲 baseURL 的參數的意思就是當 HTML 文檔使用相對路徑方式引用外部文件時，jsoup 會自動爲這些 URL 加上一個前綴，也就是這個 baseURL。

例如 <a href=/project>開源軟件</a> 會被轉換成 <a href=http://www.oschina.net/project>開源軟件</a>。

解析並提取 HTML 元素

這部分涉及一個 HTML 解析器最基本的功能，但 jsoup 使用一種有別於其餘開源項目的方式——選擇器，咱們將在最後一部分詳細介紹 jsoup 選擇器，本節中你將看到 jsoup 是如何用最簡單的代碼實現。

不過 jsoup 也提供了傳統的 DOM 方式的元素解析，看看下面的代碼：cookie

 
      1 
      File input = new File("D:/test.html"); 
     
      2 
      Document doc = Jsoup.parse(input, "UTF-8", "http://www.oschina.net/"); 
     
      3 
        
      4 
      Element content = doc.getElementById("content"); 
     
      5 
      Elements links = content.getElementsByTag("a"); 
     
      6 
      for (Element link : links) { 
     
      7 
        String linkHref = link.attr("href"); 
     
      8 
        String linkText = link.text(); 
     
      9 
      }

你可能會以爲 jsoup 的方法似曾相識，沒錯，像 getElementById 和 getElementsByTag 方法跟 JavaScript 的方法名稱是同樣的，功能也徹底一致。你能夠根據節點名稱或者是 HTML 元素的 id 來獲取對應的元素或者元素列表。

與 htmlparser 項目不一樣的是，jsoup 並無爲 HTML 元素定義一個對應的類，通常一個 HTML 元素的組成部分包括：節點名、屬性和文本，jsoup 提供簡單的方法供你本身檢索這些數據，這也是 jsoup 保持瘦身的緣由。

而在元素檢索方面，jsoup 的選擇器簡直無所不能，post

 
      01 
      File input = new File("D:\test.html"); 
     
      02 
      Document doc = Jsoup.parse(input,"UTF-8","http://www.oschina.net/"); 
     
      03 
        
      04 
      Elements links = doc.select("a[href]"); // 具備 href 屬性的連接 
     
      05 
      Elements pngs = doc.select("img[src$=.png]");//全部引用png圖片的元素 
     
      06 
        
      07 
        
      08 
      Element masthead = doc.select("div.masthead").first(); 
     
      09 
      // 找出定義了 class="masthead" 的元素 
     
      10 
        
      11 
      Elements resultLinks = doc.select("h3.r > a"); // direct a after h3

這是 jsoup 真正讓我折服的地方，jsoup 使用跟 jQuery 如出一轍的選擇器對元素進行檢索，以上的檢索方法若是換成是其餘的 HTML 解釋器，至少都須要不少行代碼，而 jsoup 只須要一行代碼便可完成。

jsoup 的選擇器還支持表達式功能，咱們將在最後一節介紹這個超強的選擇器。動畫

修改數據

在解析文檔的同時，咱們可能會須要對文檔中的某些元素進行修改，例如咱們能夠爲文檔中的全部圖片增長可點擊連接、修改連接地址或者是修改文本等。

下面是一些簡單的例子：網站

 
      1 
      doc.select("div.comments a").attr("rel", "nofollow"); 
     
      2 
      //爲全部連接增長 rel=nofollow 屬性 
     
      3 
        
      4 
      doc.select("div.comments a").addClass("mylinkclass"); 
     
      5 
      //爲全部連接增長 class="mylinkclass" 屬性 
     
      6 
        
      7 
      doc.select("img").removeAttr("onclick"); //刪除全部圖片的onclick屬性 
     
      8 
        
      9 
      doc.select("input[type=text]").val(""); //清空全部文本輸入框中的文本

道理很簡單，你只須要利用 jsoup 的選擇器找出元素，而後就能夠經過以上的方法來進行修改，除了沒法修改標籤名外（能夠刪除後再插入新的元素），包括元素的屬性和文本均可以修改。

修改完直接調用 Element(s) 的 html() 方法就能夠獲取修改完的 HTML 文檔。spa

HTML 文檔清理

jsoup 在提供強大的 API 同時，人性化方面也作得很是好。在作網站的時候，常常會提供用戶評論的功能。有些用戶比較淘氣，會搞一些腳本到評論內容中，而這些腳本可能會破壞整個頁面的行爲，更嚴重的是獲取一些機要信息，例如 XSS 跨站點攻擊之類的。

jsoup 對這方面的支持很是強大，使用很是簡單。看看下面這段代碼：.net

 
      1 
      String unsafe = "<p><a href='http://www.oschina.net/' onclick='stealCookies()'>開源中國社區</a></p>"; 
     
      2 
      String safe = Jsoup.clean(unsafe, Whitelist.basic()); 
     
      3 
      // 輸出: 
     
      4 
      // <p><a href="http://www.oschina.net/" rel="nofollow">開源中國社區</a></p>

jsoup 使用一個 Whitelist 類用來對 HTML 文檔進行過濾，該類提供幾個經常使用方法：設計

若是這五個過濾器都沒法知足你的要求呢，例如你容許用戶插入 flash 動畫，不要緊，Whitelist 提供擴展功能，例如 whitelist.addTags("embed","object","param","span","div"); 也可調用 addAttributes 爲某些元素增長屬性。

jsoup 的過人之處——選擇器

前面咱們已經簡單的介紹了 jsoup 是如何使用選擇器來對元素進行檢索的。本節咱們把重點放在選擇器自己強大的語法上。下表是 jsoup 選擇器的全部語法詳細列表。

基本用法

以上是最基本的選擇器語法，這些語法也能夠組合起來使用，下面是 jsoup 支持的組合用法：

除了一些基本的語法以及這些語法進行組合外，jsoup 還支持使用表達式進行元素過濾選擇。下面是 jsoup 支持的全部表達式一覽表：

總結jsoup 的基本功能到這裏就介紹完畢，但因爲 jsoup 良好的可擴展性 API 設計，你能夠經過選擇器的定義來開發出很是強大的 HTML 解析功能。再加上 jsoup 項目自己的開發也很是活躍，所以若是你正在使用 Java ，須要對 HTML 進行處理，不妨試試。