Jsoup學習總結

時間 2019-11-29

標籤 jsoup 學習總結欄目 Java 简体版

原文原文鏈接

Jsoup學習總結

摘要

Jsoup是一款比較好的Java版HTML解析器。可直接解析某個URL地址、HTML文本內容。它提供了一套很是省力的API，可經過DOM，CSS以及相似於jQuery的操做方法來取出和操做數據。php

jSOUP主要功能

從一個URL，文件或字符串中解析HTML；
使用DOM或CSS選擇器來查找、取出數據；
可操做HTML元素、屬性、文本；

環境搭建

MAVEN依賴css

<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.8.3</version>
</dependency>

1. 輸入

jsoup 能夠從包括字符串、URL地址以及本地文件來加載HTML 文檔，並生成Document對象實例。html

Document對象（一個文檔的對象模型）：文檔由多個Elements和TextNodes組成 (以及其它輔助nodes：詳細可查看：nodes package tree).
其繼承結構以下：Document繼承Element繼承Node. TextNode繼承 Node.java
一個Element包含一個子節點集合，並擁有一個父Element。他們還提供了一個惟一的子元素過濾列表。node

1.1 從字符串中輸入HTML文檔

1.1.1 解析一個html字符串

使用靜態方法Jsoup.parse(String html) 或 Jsoup.parse(String html, String baseUri)jquery

String html = "<html><head><title>開源中國社區</title></head>"
+"<body><p>這裏是jsoup 項目的相關文章</p></body></html>";
Document doc = Jsoup.parse(html);

說明：css3

其解析器可以盡最大可能從你提供的HTML文檔來創見一個乾淨的解析結果，不管HTML的格式是否完整。好比它能夠處理：web
- 沒有關閉的標籤 (好比： <p>Lorem <p>Ipsum 解析爲 <p>Lorem</p> <p>Ipsum</p>)
- 隱式標籤 (好比：它能夠自動將 <td>Table data</td>包裝成<table><tr><td>?)
- 建立可靠的文檔結構（html標籤包含head 和 body，在head只出現恰當的元素）
parse(String html, String baseUri) 這個方法可以將輸入的HTML解析爲一個新的文檔 (Document），參數 baseUri 是用來將相對 URL 轉成絕對URL，並指定從哪一個網站獲取文檔。如這個方法不適用，你可使用 parse(String html) 方法來解析成HTML字符串如上面的示例。正則表達式
只要解析的不是空字符串，就能返回一個結構合理的文檔，其中包含(至少) 一個head和一個body元素。django
一旦擁有了一個Document，你就可使用Document中適當的方法或它父類 Element 和 Node 中的方法來取得相關數據

1.1.2 解析一個body片段

假如你有一個HTML片段 (好比. 一個 div 包含一對 p 標籤; 一個不完整的HTML文檔) 想對它進行解析。這個HTML片段能夠是用戶提交的一條評論或在一個CMS頁面中編輯body部分。可使用Jsoup.parseBodyFragment(String html) 方法.

String html = "<div><p>Lorem ipsum.</p>";
Document doc = Jsoup.parseBodyFragment(html);
Element body = doc.body();

說明：

parseBodyFragment 方法建立一個空殼的文檔，並插入解析過的HTML到body元素中。假如你使用正常的 Jsoup.parse(String html) 方法，一般你也能夠獲得相同的結果，可是明確將用戶輸入做爲 body片斷處理，以確保用戶所提供的任何糟糕的HTML都將被解析成body元素。
Document.body() 方法可以取得文檔body元素的全部子元素，與 doc.getElementsByTag("body")相同。

1.2 從URL直接加載HTML文檔

從一個網站獲取和解析一個HTML文檔，並查找其中的相關數據，可使用 Jsoup.connect(String url)方法。

Document doc =Jsoup.connect("網址/").get();
String title = doc.title();
Document doc =Jsoup.connect("網址/")
.data("query", "Java") //請求參數
.userAgent("I’mjsoup") //設置User-Agent
.cookie("auth", "token") //設置cookie
.timeout(3000) //設置鏈接超時時間
.post(); //使用POST方法訪問URL

說明：

connect(String url) 方法建立一個新的 Connection 和 get() 取得和解析一個HTML文件。若是從該URL獲取HTML時發生錯誤，便會拋出 IOException，應適當處理。
Connection 接口還提供一個方法鏈來解決特殊請求，具體以下：

Document doc = Jsoup.connect("http://example.com")
.data("query", "Java")
.userAgent("Mozilla")
.cookie("auth", "token")
.timeout(3000)
.post();

這個方法只支持Web URLs (http 和 https 協議); 假如你須要從一個文件加載，可使用 parse(File in, String charsetName) 代替。

1.3 從文件中加載HTML文檔

在本機硬盤上有一個HTML文件，須要對它進行解析從中抽取數據或進行修改。可使用靜態 Jsoup.parse(File in, String charsetName, String baseUri) 方法。

File input = new File("/tmp/input.html");
Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");

說明：

parse(File in, String charsetName, String baseUri) 這個方法用來加載和解析一個HTML文件。如在加載文件的時候發生錯誤，將拋出IOException，應做適當處理。
baseUri參數用於解決文件中URLs是相對路徑的問題。若是不須要能夠傳入一個空的字符串。
另外還有一個方法parse(File in, String charsetName) 它使用文件的路徑作爲 baseUri。這個方法適用於若是被解析文件位於網站的本地文件系統，且相關連接也指向該文件系統。

1.4 保證安全Stay safe

假如你可讓用戶輸入HTML內容，那麼要當心避免跨站腳本攻擊。利用基於Whitelist的清除器和clean(String bodyHtml, Whitelist whitelist) 方法來清除用戶輸入的惡意內容。

詳情查看第4節 [4.HTML清理](#4.HTML清理)

2. 數據抽取

2.1 使用DOM方法來遍歷一個文檔

有一個HTML文檔要從中提取數據，並瞭解這個HTML文檔的結構。將HTML解析成一個Document以後，就可使用相似於DOM的方法進行操做。

File input = new File("/tmp/input.html");
Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");
Element content = doc.getElementById("content");
Elements links = content.getElementsByTag("a");
for (Element link : links) {
String linkHref = link.attr("href");
String linkText = link.text();
}

說明：Elements這個對象提供了一系列相似於DOM的方法來查找元素，抽取並處理其中的數據。具體以下：

2.1.1 查找元素

getElementById(String id)	id
getElementsByTag(String tag)	標籤名
getElementsByClass(String className)	class名
getElementsByAttribute(String key)	屬性
siblingElements()	全部的兄弟元素
firstElementSibling()	第一個兄弟元素
lastElementSibling()	最後一個兄弟元素
nextElementSibling()	下一個兄弟元素
previousElementSibling()	上一個兄弟元素
parent()	獲取該元素父節點
children()	獲取該元素的子元素
child(int index)	獲取該元素的第幾個子元素（下標從0開始）

2.1.2 元素數據

attr(String key)	獲取屬性
attr(String key, String value)	設置屬性
attributes()	獲取全部屬性
id()	獲取該元素id
className()	獲取該元素class，多個class之間空格隔開
classNames()	獲取全部元素的class
text()	獲取文本內容
text(String value)	設置文本內容
html()	獲取元素內HTML
html(String value)	設置元素內的HTML內容
outerHtml()	獲取元素外HTML內容
data()	獲取數據內容（例如：script和style標籤)
tag()
tagName()	獲取元素標籤名

2.1.3 操做HTML和文本

append(String html)	添加給定的html到元素末尾
prepend(String html)	添加給定html到元素前面
appendText(String text)	建立並添加文本
prependText(String text)	建立並添加文本
appendElement(String tagName)	添加到元素末尾
prependElement(String tagName)	添加到元素前
html(String value)	設置元素值

2.2 使用選擇器語法來查找元素(select)

使用 Element.select(String selector) 和 Elements.select(String selector)，使用相似於CSS或jQuery的語法來查找和操做元素。

File input = new File("/tmp/input.html");
Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");
Elements links = doc.select("a[href]"); //帶有href屬性的a元素
Elements pngs = doc.select("img[src$=.png]"); //擴展名爲.png的圖片
Element masthead = doc.select("div.masthead").first();//class等於masthead的div標籤
Elements resultLinks = doc.select("h3.r > a"); //在h3元素以後的a元素

說明：
jsoup elements對象支持相似於CSS (或jquery)的選擇器語法，來實現很是強大和靈活的查找功能。

這個select 方法在Document, Element,或Elements 對象中均可以使用。且是上下文相關的，所以可實現指定元素的過濾，或者鏈式選擇訪問。

Select方法將返回一個Elements 集合，並提供一組方法來抽取和處理結果。

2.2.1 Selector選擇器基本用法

tagname	使用標籤名來定位，例如 a
ns\|tag	使用命名空間的標籤訂位，例如 fb:name 來查找 `<fb:name>` 元素
#id	使用元素 id 定位，例如 #logo
.class	使用元素的 class 屬性定位，例如 .head
[attribute]	使用元素的屬性進行定位，例如 [href] 表示檢索具備 href 屬性的全部元素
[^attr]	使用元素的屬性名前綴進行定位，例如 [^data-] 用來查找 HTML5 的 dataset 屬性
[attr=value]	使用屬性值進行定位，例如 [width=500] 定位全部 width 屬性值爲 500 的元素
[attr^=value], [attr$=value], [attr*=value]	利用匹配屬性值開頭、結尾或包含屬性值來查找元素，好比：`[href*=/path/]`
[attr~=regex]	利用屬性值匹配正則表達式來查找元素，例如img[src~=(?i).(png\|jpe?g)]
*	定位全部元素

2.2.2 Selector選擇器組合使用

el#id	定位 id 值某個元素，例如 a#logo -> `<a id=logo href= … >`
el.class	定位 class 爲指定值的元素，例如 div.head -> `<div class="head">xxxx</div>`
el[attr]	定位全部定義了某屬性的元素，例如 a[href]
以上三個任意組合	例如 a[href]#logo 、a[name].outerlink
ancestor child	查找某個元素下子元素，好比：能夠用`.body p` 查找在"body"元素下的全部 `p`元素
parent > child	查找某個父元素下的直接子元素，好比：能夠用`div.content > p` 查找 `p` 元素，也能夠用`body > *` 查找body標籤下全部直接子元素
siblingA + siblingB	查找在A元素以前第一個同級元素B，好比：`div.head + div`
siblingA ~ siblingX	查找A元素以前的同級X元素，好比：`h1 ~ p`
el, el, el	多個選擇器組合，查找匹配任一選擇器的惟一元素，例如：`div.masthead, div.logo`

2.2.3 僞選擇器selectors (表達式)：

:lt(n)	查找哪些元素的同級索引值（它的位置在DOM樹中是相對於它的父節點）小於n，好比：`td:lt(3)` 表示小於三列的元素
:gt(n)	查找哪些元素的同級索引值大於n``，好比： `div p:gt(2)`表示哪些div中有包含2個以上的p元素
:eq(n)	查找哪些元素的同級索引值與`n`相等，好比：`form input:eq(1)`表示包含一個input標籤的Form元素
:has(seletor)	查找匹配選擇器包含元素的元素，好比：`div:has(p)`表示哪些div包含了p元素
:not(selector)	查找與選擇器不匹配的元素，好比： `div:not(.logo)` 表示不包含 class="logo" 元素的全部 div 列表
:contains(text)	查找包含給定文本的元素，不區分大不寫，好比： `p:contains(jsoup)`
:containsOwn(text)	查找文本信息徹底等於指定條件的元素
:matches(regex)	使用正則表達式進行文本過濾：div:matches((?i)login)
:matchesOwn(regex)	使用正則表達式找到自身的文本

注意：上述僞選擇器索引是從0開始的，也就是說第一個元素索引值爲0，第二個元素index爲1等
能夠查看Selector API參考來了解更詳細的內容

2.3 從元素抽取屬性，文本和HTML

Node.attr(String key) 獲取屬性值
Element.text() 獲取元素中的文本值
Element.html() 獲取元素HTML內容
Node.outerHtml() 獲取元素HTML內容

String html = "<p>An <a href='http://example.com/'><b>example</b></a> link.</p>";
Document doc = Jsoup.parse(html);//解析HTML字符串返回一個Document實現
Element link = doc.select("a").first();//查找第一個a元素
String text = doc.body().text(); // "An example link"//取得字符串中的文本
String linkHref = link.attr("href"); // "http://example.com/"//取得連接地址
String linkText = link.text(); // "example""//取得連接地址中的文本
String linkOuterH = link.outerHtml();
// "<a href="http://example.com"><b>example</b></a>"
String linkInnerH = link.html(); // "<b>example</b>"//取得連接內的html內容

說明：
上述方法是元素數據訪問的核心辦法。此外還其它一些方法可使用：

這些訪問器方法都有相應的setter方法來更改數據.

2.4 處理URLs

有一個包含相對URLs路徑的HTML文檔，須要將這些相對路徑轉換成絕對路徑的URLs。

在解析文檔時確保有指定baseURI，
而後使用 abs: 屬性前綴來取得包含baseURI的絕對路徑

Document doc = Jsoup.connect("http://www.open-open.com").get();
Element link = doc.select("a").first();
String relHref = link.attr("href"); // == "/"
String absHref = link.attr("abs:href"); // "http://www.open-open.com/"

說明：
在HTML元素中，URLs常常寫成相對於文檔位置的相對路徑： <a href="/download">...</a>. 當你使用 Node.attr(String key) 方法來取得a元素的href屬性時，它將直接返回在HTML源碼中指定的值。

假如你須要取得一個絕對路徑，須要在屬性名前加 abs: 前綴。這樣就能夠返回包含根路徑的URL地址attr("abs:href")，所以，在解析HTML文檔時，定義baseURI很是重要。

若是你不想使用abs: 前綴，還有一個方法可以實現一樣的功能 Node.absUrl(String key)。

2.5 示例程序: 獲取全部連接

這個示例程序將展現如何從一個URL得到一個頁面。而後提取頁面中的全部連接、圖片和其它輔助內容。並檢查URLs和文本信息。運行下面程序須要指定一個URLs做爲參數

package org.jsoup.examples;
import org.jsoup.Jsoup;
import org.jsoup.helper.Validate;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;
/**
* Example program to list links from a URL.
*/
public class ListLinks {
public static void main(String[] args) throws IOException {
Validate.isTrue(args.length == 1, "usage: supply url to fetch");
String url = args[0];
print("Fetching %s...", url);
Document doc = Jsoup.connect(url).get();
Elements links = doc.select("a[href]");
Elements media = doc.select("[src]");
Elements imports = doc.select("link[href]");
print("\nMedia: (%d)", media.size());
for (Element src : media) {
if (src.tagName().equals("img"))
print(" * %s: <%s> %sx%s (%s)",
src.tagName(), src.attr("abs:src"), src.attr("width"), src.attr("height"),
trim(src.attr("alt"), 20));
else
print(" * %s: <%s>", src.tagName(), src.attr("abs:src"));
}
print("\nImports: (%d)", imports.size());
for (Element link : imports) {
print(" * %s <%s> (%s)", link.tagName(),link.attr("abs:href"), link.attr("rel"));
}
print("\nLinks: (%d)", links.size());
for (Element link : links) {
print(" * a: <%s> (%s)", link.attr("abs:href"), trim(link.text(), 35));
}
}
private static void print(String msg, Object... args) {
System.out.println(String.format(msg, args));
}
private static String trim(String s, int width) {
if (s.length() > width)
return s.substring(0, width-1) + ".";
else
return s;
}
}

示例輸入結果：

Fetching http://news.ycombinator.com/...
Media: (38)
* img: <http://ycombinator.com/images/y18.gif> 18x18 ()
* img: <http://ycombinator.com/images/s.gif> 10x1 ()
* img: <http://ycombinator.com/images/grayarrow.gif> x ()
* img: <http://ycombinator.com/images/s.gif> 0x10 ()
* script: <http://www.co2stats.com/propres.php?s=1138>
* img: <http://ycombinator.com/images/s.gif> 15x1 ()
* img: <http://ycombinator.com/images/hnsearch.png> x ()
* img: <http://ycombinator.com/images/s.gif> 25x1 ()
* img: <http://mixpanel.com/site_media/images/mixpanel_partner_logo_borderless.gif> x (Analytics by Mixpan.)
Imports: (2)
* link <http://ycombinator.com/news.css> (stylesheet)
* link <http://ycombinator.com/favicon.ico> (shortcut icon)
Links: (141)
* a: <http://ycombinator.com> ()
* a: <http://news.ycombinator.com/news> (Hacker News)
* a: <http://news.ycombinator.com/newest> (new)
* a: <http://news.ycombinator.com/newcomments> (comments)
* a: <http://news.ycombinator.com/leaders> (leaders)
* a: <http://news.ycombinator.com/jobs> (jobs)
* a: <http://news.ycombinator.com/submit> (submit)
* a: <http://news.ycombinator.com/x?fnid=JKhQjfU7gW> (login)
* a: <http://news.ycombinator.com/vote?for=1094578&dir=up&whence=%6e%65%77%73> ()
* a: <http://www.readwriteweb.com/archives/facebook_gets_faster_debuts_homegrown_php_compiler.php?utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A+readwriteweb+%28ReadWriteWeb%29&utm_content=Twitter> (Facebook speeds up PHP)
* a: <http://news.ycombinator.com/user?id=mcxx> (mcxx)
* a: <http://news.ycombinator.com/item?id=1094578> (9 comments)
* a: <http://news.ycombinator.com/vote?for=1094649&dir=up&whence=%6e%65%77%73> ()
* a: <http://groups.google.com/group/django-developers/msg/a65fbbc8effcd914> ("Tough. Django produces XHTML.")
* a: <http://news.ycombinator.com/user?id=andybak> (andybak)
* a: <http://news.ycombinator.com/item?id=1094649> (3 comments)
* a: <http://news.ycombinator.com/vote?for=1093927&dir=up&whence=%6e%65%77%73> ()
* a: <http://news.ycombinator.com/x?fnid=p2sdPLE7Ce> (More)
* a: <http://news.ycombinator.com/lists> (Lists)
* a: <http://news.ycombinator.com/rss> (RSS)
* a: <http://ycombinator.com/bookmarklet.html> (Bookmarklet)
* a: <http://ycombinator.com/newsguidelines.html> (Guidelines)
* a: <http://ycombinator.com/newsfaq.html> (FAQ)
* a: <http://ycombinator.com/newsnews.html> (News News)
* a: <http://news.ycombinator.com/item?id=363> (Feature Requests)
* a: <http://ycombinator.com> (Y Combinator)
* a: <http://ycombinator.com/w2010.html> (Apply)
* a: <http://ycombinator.com/lib.html> (Library)
* a: <http://www.webmynd.com/html/hackernews.html> ()
* a: <http://mixpanel.com/?from=yc> ()

3. 數據修改

3.1 設置屬性的值

在解析一個Document以後可能想修改其中的某些屬性值，而後再保存到磁盤或都輸出到前臺頁面。

可使用屬性設置方法 Element.attr(String key, String value), 和 Elements.attr(String key, String value).

假如你須要修改一個元素的 class 屬性，可使用 Element.addClass(String className) 和Element.removeClass(String className) 方法。

Elements 提供了批量操做元素屬性和class的方法，好比：要爲div中的每個a元素都添加一個rel="nofollow" 可使用以下方法：

doc.select("div.comments a").attr("rel", "nofollow");

說明：與Element 中的其它方法同樣，attr 方法也是返回當前 Element (或在使用選擇器是返回 Elements 集合)。這樣可以很方便使用方法連用的書寫方式。好比：

doc.select("div.masthead").attr("title", "jsoup").addClass("round-box");

3.2 設置一個元素的HTML內容

Element div = doc.select("div").first(); // <div></div>
div.html("<p>lorem ipsum</p>"); // <div><p>lorem ipsum</p></div>
div.prepend("<p>First</p>");//在div前添加html內容
div.append("<p>Last</p>");//在div以後添加html內容
// 添完後的結果: <div><p>First</p><p>lorem ipsum</p><p>Last</p></div>
Element span = doc.select("span").first(); // <span>One</span>
span.wrap("<li><a href='http://example.com/'></a></li>");
// 添完後的結果: <li><a href="http://example.com"><span>One</span></a></li>

說明：

Element.html(String html) 這個方法將先清除元素中的HTML內容，而後用傳入的HTML代替。
Element.prepend(String first) 和 Element.append(String last) 方法用於在分別在元素內部HTML的前面和後面添加HTML內容
Element.wrap(String around) 對元素包裹一個外部HTML內容。

3.3 設置元素的文本內容

Element div = doc.select("div").first(); // <div></div>
div.text("five > four"); // <div>five > four</div>
div.prepend("First ");
div.append(" Last");
// now: <div>First five > four Last</div>

說明：
文本設置方法與 HTML setter 方法同樣：

Element.text(String text) 將清除一個元素中的內部HTML內容，而後提供的文本進行代替
Element.prepend(String first) 和 Element.append(String last) 將分別在元素的內部html先後添加文本節點。

對於傳入的文本若是含有像 <, > 等這樣的字符，將以文本處理，而非HTML。

4.HTML清理

4.1 消除不受信任的HTML (防止XSS攻擊)

在作網站的時候，常常會提供用戶評論的功能。有些不懷好意的用戶，會搞一些腳本到評論內容中，而這些腳本可能會破壞整個頁面的行爲，更嚴重的是獲取一些機要信息，此時須要清理該HTML，以免跨站腳本cross-site scripting攻擊（XSS）。
使用jsoup HTML Cleaner 方法進行清除，但須要指定一個可配置的 Whitelist。

String unsafe = "<p><a href='http://example.com/' onclick='stealCookies()'>Link</a></p>";
String safe = Jsoup.clean(unsafe, Whitelist.basic());
// now: <p><a href="http://example.com/" rel="nofollow">Link</a></p>

說明：
XSS又叫CSS (Cross Site Script) ，跨站腳本攻擊。它指的是惡意攻擊者往Web頁面裏插入惡意html代碼，當用戶瀏覽該頁之時，嵌入其中Web裏面的html代碼會被執行，從而達到惡意攻擊用戶的特殊目的。XSS屬於被動式的攻擊，由於其被動且很差利用，因此許多人常忽略其危害性。因此咱們常常只讓用戶輸入純文本的內容，但這樣用戶體驗就比較差了。

一個更好的解決方法就是使用一個富文本編輯器WYSIWYG如CKEditor 和 TinyMCE。這些能夠輸出HTML並可以讓用戶可視化編輯。雖然他們能夠在客戶端進行校驗，可是這樣還不夠安全，須要在服務器端進行校驗並清除有害的HTML代碼，這樣才能確保輸入到你網站的HTML是安全的。不然，攻擊者可以繞過客戶端的Javascript驗證，並注入不安全的HMTL直接進入您的網站。

jsoup的whitelist清理器可以在服務器端對用戶輸入的HTML進行過濾，只輸出一些安全的標籤和屬性。

jsoup提供了一系列的Whitelist基本配置，可以知足大多數要求；但若有必要，也能夠進行修改，不過要當心。

這個cleaner很是好用不只能夠避免XSS攻擊，還能夠限制用戶能夠輸入的標籤範圍。

jsoup 使用一個 Whitelist 類用來對 HTML 文檔進行過濾，該類提供幾個經常使用方法：

4.2 whitelist經常使用方法

API查看：Whitelist

方法名	簡介
none()	只容許包含文本信息
basic()	容許的標籤包括：a, b, blockquote, br, cite, code, dd, dl, dt, em, i, li, ol, p, pre, q, small, strike, strong, sub, sup, u, ul, 以及合適的屬性
simpleText()	只容許 b, em, i, strong, u 這些標籤
basicWithImages()	在 basic() 的基礎上增長了圖片
relaxed()	這個過濾器容許的標籤最多，包括：a, b, blockquote, br, caption, cite, code, col, colgroup, dd, dl, dt, em, h1, h2, h3, h4, h5, h6, i, img, li, ol, p, pre, q, small, strike, strong, sub, sup, table, tbody, td, tfoot, th, thead, tr, u, ul