Jsoup解析HTML實例及文檔方法詳解
如何解析一個HTML文檔：html
代碼以下:java
String html = "<html><head><title>First parse</title></head>" + "<body><p>Parsed HTML into a doc.</p></body></html>"; Document doc = Jsoup.parse(html);
其解析器可以盡最大可能從你提供的HTML文檔來創見一個乾淨的解析結果，不管HTML的格式是否完整。好比它能夠處理：node
一、沒有關閉的標籤 (好比： <p>Lorem <p>Ipsum parses to <p>Lorem</p> <p>Ipsum</p>)
二、隱式標籤 (好比. 它能夠自動將 <td>Table data</td>包裝成<table><tr><td>?)
三、建立可靠的文檔結構（html標籤包含head 和 body，在head只出現恰當的元素）jquery
一個文檔的對象模型正則表達式
一、文檔由多個Elements和TextNodes組成 (以及其它輔助nodes).
二、其繼承結構以下：Document繼承Element繼承Node. TextNode繼承 Node.
三、一個Element包含一個子節點集合，並擁有一個父Element。他們還提供了一個惟一的子元素過濾列表。cookie
從一個URL加載一個Documentapp
存在問題
你須要從一個網站獲取和解析一個HTML文檔，並查找其中的相關數據。你可使用下面解決方法：post
解決方法
使用 Jsoup.connect(String url)方法:fetch
複製代碼代碼以下:網站
Document doc = Jsoup.connect("http://www.jb51.net/").get();
String title = doc.title();
說明
connect(String url) 方法建立一個新的 Connection, 和 get() 取得和解析一個HTML文件。若是從該URL獲取HTML時發生錯誤，便會拋出 IOException，應適當處理。
Connection 接口還提供一個方法鏈來解決特殊請求，具體以下：
複製代碼代碼以下:
Document doc = Jsoup.connect("http://www.jb51.net")
.data("query", "Java")
.userAgent("Mozilla")
.cookie("auth", "token")
.timeout(3000)
.post();
這個方法只支持Web URLs (http和https 協議); 假如你須要從一個文件加載，可使用parse(File in, String charsetName) 代替。
從一個文件加載一個文檔
問題
在本機硬盤上有一個HTML文件，須要對它進行解析從中抽取數據或進行修改。
辦法
可使用靜態 Jsoup.parse(File in, String charsetName, String baseUri) 方法：
複製代碼代碼以下:
File input = new File("/tmp/input.html");
Document doc = Jsoup.parse(input, "UTF-8", "http://www.jb51.net/");
說明
parse(File in, String charsetName, String baseUri) 這個方法用來加載和解析一個HTML文件。如在加載文件的時候發生錯誤，將拋出IOException，應做適當處理。
baseUri 參數用於解決文件中URLs是相對路徑的問題。若是不須要能夠傳入一個空的字符串。
另外還有一個方法parse(File in, String charsetName) ，它使用文件的路徑作爲 baseUri。 這個方法適用於若是被解析文件位於網站的本地文件系統，且相關連接也指向該文件系統。
使用DOM方法來遍歷一個文檔
問題
你有一個HTML文檔要從中提取數據，並瞭解這個HTML文檔的結構。
方法
將HTML解析成一個Document以後，就可使用相似於DOM的方法進行操做。示例代碼：
複製代碼代碼以下:
File input = new File("/tmp/input.html");
Document doc = Jsoup.parse(input, "UTF-8", "http://www.jb51.net/");
Element content = doc.getElementById("content");
Elements links = content.getElementsByTag("a");
for (Element link : links)
{
String linkHref = link.attr("href");
String linkText = link.text();
}
說明
Elements這個對象提供了一系列相似於DOM的方法來查找元素，抽取並處理其中的數據。具體以下：
查找元素
getElementById(String id)
getElementsByTag(String tag)
getElementsByClass(String className)
getElementsByAttribute(String key) (and related methods)
Element siblings: siblingElements(), firstElementSibling(), lastElementSibling();nextElementSibling(), previousElementSibling()
Graph: parent(), children(), child(int index)
元素數據
attr(String key)獲取屬性attr(String key, String value)設置屬性
attributes()獲取全部屬性
id(), className() and classNames()
text()獲取文本內容text(String value) 設置文本內容
html()獲取元素內HTMLhtml(String value)設置元素內的HTML內容
outerHtml()獲取元素外HTML內容
data()獲取數據內容（例如：script和style標籤)
tag() and tagName()
操做HTML和文本
append(String html), prepend(String html)
appendText(String text), prependText(String text)
appendElement(String tagName), prependElement(String tagName)
html(String value)
使用選擇器語法來查找元素
問題
你想使用相似於CSS或jQuery的語法來查找和操做元素。
方法
可使用Element.select(String selector) 和 Elements.select(String selector) 方法實現：
複製代碼代碼以下:
File input = new File("/tmp/input.html");
Document doc = Jsoup.parse(input, "UTF-8", "http://www.jb51.net./");
Elements links = doc.select("a[href]"); //帶有href屬性的a元素Elements pngs = doc.select("img[src$=.png]"); //擴展名爲.png的圖片
Element masthead = doc.select("div.masthead").first(); //class等於masthead的div標籤
Elements resultLinks = doc.select("h3.r > a"); //在h3元素以後的a元素
說明
jsoup elements對象支持相似於CSS (或jquery)的選擇器語法，來實現很是強大和靈活的查找功能。.
這個select 方法在Document, Element,或Elements對象中均可以使用。且是上下文相關的，所以可實現指定元素的過濾，或者鏈式選擇訪問。
Select方法將返回一個Elements集合，並提供一組方法來抽取和處理結果。
Selector選擇器概述
tagname: 經過標籤查找元素，好比：a
ns|tag: 經過標籤在命名空間查找元素，好比：能夠用 fb|name 語法來查找 <fb:name> 元素
#id: 經過ID查找元素，好比：#logo
.class: 經過class名稱查找元素，好比：.masthead
[attribute]: 利用屬性查找元素，好比：[href]
[^attr]: 利用屬性名前綴來查找元素，好比：能夠用[^data-] 來查找帶有HTML5 Dataset屬性的元素
[attr=value]: 利用屬性值來查找元素，好比：[width=500]
[attr^=value], [attr$=value], [attr*=value]: 利用匹配屬性值開頭、結尾或包含屬性值來查找元素，好比：[href*=/path/]
[attr~=regex]: 利用屬性值匹配正則表達式來查找元素，好比： img[src~=(?i)\.(png|jpe?g)]
*: 這個符號將匹配全部元素
Selector選擇器組合使用
el#id: 元素+ID，好比： div#logo
el.class: 元素+class，好比： div.masthead
el[attr]: 元素+class，好比： a[href]
任意組合，好比：a[href].highlight
ancestor child: 查找某個元素下子元素，好比：能夠用.body p 查找在"body"元素下的全部p元素
parent > child: 查找某個父元素下的直接子元素，好比：能夠用div.content > p 查找 p 元素，也能夠用body > * 查找body標籤下全部直接子元素
siblingA + siblingB: 查找在A元素以前第一個同級元素B，好比：div.head + div
siblingA ~ siblingX: 查找A元素以前的同級X元素，好比：h1 ~ p
el, el, el:多個選擇器組合，查找匹配任一選擇器的惟一元素，例如：div.masthead, div.logo
僞選擇器selectors
:lt(n): 查找哪些元素的同級索引值（它的位置在DOM樹中是相對於它的父節點）小於n，好比：td:lt(3) 表示小於三列的元素
:gt(n):查找哪些元素的同級索引值大於n，好比： div p:gt(2)表示哪些div中有包含2個以上的p元素
:eq(n): 查找哪些元素的同級索引值與n相等，好比：form input:eq(1)表示包含一個input標籤的Form元素
:has(seletor): 查找匹配選擇器包含元素的元素，好比：div:has(p)表示哪些div包含了p元素
:not(selector): 查找與選擇器不匹配的元素，好比： div:not(.logo) 表示不包含 class=logo 元素的全部 div 列表
:contains(text): 查找包含給定文本的元素，搜索不區分大不寫，好比： p:contains(jsoup)
:containsOwn(text): 查找直接包含給定文本的元素
:matches(regex): 查找哪些元素的文本匹配指定的正則表達式，好比：div:matches((?i)login)
:matchesOwn(regex): 查找自身包含文本匹配指定正則表達式的元素
注意：上述僞選擇器索引是從0開始的，也就是說第一個元素索引值爲0，第二個元素index爲1等
能夠查看Selector API參考來了解更詳細的內容
從元素抽取屬性，文本和HTML
問題
在解析得到一個Document實例對象，並查找到一些元素以後，你但願取得在這些元素中的數據。
方法
要取得一個屬性的值，可使用Node.attr(String key) 方法
對於一個元素中的文本，可使用Element.text()方法
對於要取得元素或屬性中的HTML內容，可使用Element.html(), 或 Node.outerHtml()方法
示例：
複製代碼代碼以下:
String html = "<p>An <a href='http://www.jb51.net/'><b>www.jb51.net</b></a> link.</p>";
Document doc = Jsoup.parse(html);//解析HTML字符串返回一個Document實現
Element link = doc.select("a").first();//查找第一個a元素
String text = doc.body().text(); // "An www.jb51.net link"//取得字符串中的文本
String linkHref = link.attr("href"); // " //取得連接地址
String linkText = link.text();// "
String linkOuterH = link.outerHtml(); // "<a href="http://www.jb51.net"><b>www.jb51.net</b></a>"
String linkInnerH = link.html();// "<b>www.jb51.net</b>"//取得連接內的html內容
說明
上述方法是元素數據訪問的核心辦法。此外還其它一些方法可使用：
Element.id()
Element.tagName()
Element.className() and Element.hasClass(String className)
這些訪問器方法都有相應的setter方法來更改數據.
示例程序: 獲取全部連接
這個示例程序將展現如何從一個URL得到一個頁面。而後提取頁面中的全部連接、圖片和其它輔助內容。並檢查URLs和文本信息。
運行下面程序須要指定一個URLs做爲參數
複製代碼代碼以下:
package org.jsoup.www.jb51.nets;
import org.jsoup.Jsoup;
import org.jsoup.helper.Validate;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;
/**
* www.jb51.net program to list links from a URL.
*/
public class ListLinks {
public static void main(String[] args) throws IOException {
Validate.isTrue(args.length == 1, "usage: supply url to fetch");
String url = args[0];
print("Fetching %s...", url);
Document doc = Jsoup.connect(url).get();
Elements links = doc.select("a[href]");
Elements media = doc.select("[src]");
Elements imports = doc.select("link[href]");
print("\nMedia: (%d)", media.size());
for (Element src : media)
{
if (src.tagName().equals("img"))
print(" * %s: <%s> %sx%s (%s)",src.tagName(), src.attr("abs:src"), src.attr("width"), src.attr("height"),trim(src.attr("alt"), 20));
else
print(" * %s: <%s>", src.tagName(), src.attr("abs:src"));
}
print("\nImports: (%d)", imports.size());
for (Element link : imports)
{
print(" * %s <%s> (%s)", link.tagName(),link.attr("abs:href"), link.attr("rel"));
}
print("\nLinks: (%d)", links.size());
for (Element link : links)
{
print(" * a: <%s> (%s)", link.attr("abs:href"), trim(link.text(), 35));
}
}
private static void print(String msg, Object... args)
{
System.out.println(String.format(msg, args));
}
private static String trim(String s, int width)
{
if (s.length() > width)
return s.substring(0, width-1) + ".";
else
return s;
}
}
- 1. Jsoup解析Html中文文檔
- 2. Jsoup解析HTML、加載文檔等實例
- 3. Htmlparse解析HTML文檔（例）
- 4. Jsoup 解析html
- 5. jsoup解析html
- 6. Jsoup解析HTML
- 7. jsoup 解析html
- 8. Jsoup解析html
- 9. jsoup Cookbook(中文版)-Jsoup解析HTML
- 10. jsoup 包解析html
- 更多相關文章...
- • TCP報文格式解析 - TCP/IP教程
- • *.hbm.xml映射文件詳解 - Hibernate教程
- • Flink 數據傳輸及反壓詳解
- • SpringBoot中properties文件不能自動提示解決方法
-
每一个你不满意的现在，都有一个你没有努力的曾经。
- 1. 字節跳動21屆秋招運營兩輪面試經驗分享
- 2. Java 3 年，25K 多嗎？
- 3. mysql安裝部署
- 4. web前端開發中父鏈和子鏈方式實現通信
- 5. 3.1.6 spark體系之分佈式計算-scala編程-scala中trait特性
- 6. dataframe2
- 7. ThinkFree在線
- 8. 在線畫圖
- 9. devtools熱部署
- 10. 編譯和鏈接
- 1. Jsoup解析Html中文文檔
- 2. Jsoup解析HTML、加載文檔等實例
- 3. Htmlparse解析HTML文檔（例）
- 4. Jsoup 解析html
- 5. jsoup解析html
- 6. Jsoup解析HTML
- 7. jsoup 解析html
- 8. Jsoup解析html
- 9. jsoup Cookbook(中文版)-Jsoup解析HTML
- 10. jsoup 包解析html