爬蟲-jsoup解析

Jsoup

咱們抓取到頁面以後，還須要對頁面進行解析。能夠使用字符串處理工具解析頁面，也能夠使用正則表達式，可是這些方法都會帶來很大的開發成本，因此咱們須要使用一款專門解析html頁面的技術。

1.1. jsoup介紹

jsoup 是一款Java 的HTML解析器，可直接解析某個URL地址、HTML文本內容。它提供了一套很是省力的API，可經過DOM，CSS以及相似於jQuery的操做方法來取出和操做數據。

 

jsoup的主要功能以下：

1. 從一個URL，文件或字符串中解析HTML；
2. 使用DOM或CSS選擇器來查找、取出數據；
3. 可操做HTML元素、屬性、文本；

 1 <dependency>
 2     <groupId>org.jsoup</groupId>
 3     <artifactId>jsoup</artifactId>
 4     <version>1.10.3</version>
 5 </dependency>
 6 <!--測試-->
 7 <dependency>
 8     <groupId>junit</groupId>
 9     <artifactId>junit</artifactId>
10     <version>4.12</version>
11 </dependency>
12 <!--工具-->
13 <dependency>
14     <groupId>org.apache.commons</groupId>
15     <artifactId>commons-lang3</artifactId>
16     <version>3.7</version>
17 </dependency>
18 <dependency>
19     <groupId>commons-io</groupId>
20     <artifactId>commons-io</artifactId>
21     <version>2.6</version>
22 </dependency>

 使用dom方式遍歷文檔

元素獲取

1. 根據id查詢元素getElementById
2. 根據標籤獲取元素getElementsByTag
3. 根據class獲取元素getElementsByClass
4. 根據屬性獲取元素getElementsByAttribute

元素中獲取數據

1. 從元素中獲取id
2. 從元素中獲取className
3. 從元素中獲取屬性的值attr
4. 從元素中獲取全部屬性attributes
5. 從元素中獲取文本內容text

 使用選擇器語法查找元素

jsoup elements對象支持相似於CSS (或jquery)的選擇器語法，來實現很是強大和靈活的查找功能。這個select 方法在Document, Element,或Elements對象中均可以使用。且是上下文相關的，所以可實現指定元素的過濾，或者鏈式選擇訪問。

Select方法將返回一個Elements集合，並提供一組方法來抽取和處理結果。

 使用dom方式遍歷文檔

tagname: 經過標籤查找元素，好比：span

#id: 經過ID查找元素，好比：# city_bj

.class: 經過class名稱查找元素，好比：.class_a

[attribute]: 利用屬性查找元素，好比：[abc]

[attr=value]: 利用屬性值來查找元素，好比：[class=s_name]

 Selector選擇器組合使用

el#id: 元素+ID，好比： h3#city_bj

el.class: 元素+class，好比： li.class_a

el[attr]: 元素+屬性名，好比： span[abc]

任意組合: 好比：span[abc].s_name

ancestor child: 查找某個元素下子元素，好比：.city_con li 查找"city_con"下的全部li

parent > child: 查找某個父元素下的直接子元素，好比：

.city_con > ul > li 查找city_con第一級（直接子元素）的ul，再找全部ul下的第一級li

parent > *: 查找某個父元素下全部直接子元素

代碼測試

public class JsoupTest { @Test public void testJsoupUrl() throws Exception { // 解析url地址
        Document document = Jsoup.parse(new URL("http://www.jingdong.com/"), 1000); //獲取title的內容
        Element title = document.getElementsByTag("title").first(); System.out.println(title.text()); } @Test public void testJsoupHtml() throws Exception { // 解析文件
        Document document = Jsoup.parse(new File("F:\\boss\\1.html"), "UTF-8"); //獲取title的內容
        Element title = document.getElementsByTag("title").first(); System.out.println(title.text()); //1.根據id查詢元素getElementById
        Element element = document.getElementById("city_bj"); System.out.println(element.text()); //2.根據標籤獲取元素getElementsByTag
        element = document.getElementsByTag("title").first(); System.out.println(element.text()); //3.根據class獲取元素getElementsByClass
        element = document.getElementsByClass("s_name").last(); System.out.println(element.text()); //4.根據屬性獲取元素getElementsByAttribute
        element = document.getElementsByAttribute("abc").first(); System.out.println("abc:" + element.text()); //定義屬性
        element = document.getElementsByAttributeValue("class", "city_con").first(); System.out.println(element.text()); } /** * 標籤屬性選擇 * * @throws Exception */ @Test public void testJsoupHtml2() throws Exception { //解析文件
        Document document = Jsoup.parse(new File("F:\\boss\\1.html"), "UTF-8"); //獲取元素
        Element element = document.getElementById("test"); //1.從元素中獲取id
        String str = element.id(); System.out.println("id:" + str); //2.從元素中獲取className
        str = element.className(); System.out.println("className:" + str); //3.從元素中獲取屬性的值attr
        str = element.attr("id"); System.out.println("attr:" + str); //4.從元素中獲取全部屬性attributes
        str = element.attributes().toString(); System.out.println("attributes:" + str); //5.從元素中獲取文本內容text
        str = element.text(); System.out.println("text:" + str); } /** * css 選擇器 * * @throws Exception */ @Test public void testJsoupHtml3() throws Exception { //解析文件
        Document document = Jsoup.parse(new File("F:\\boss\\1.html"), "UTF-8"); //tagname: 經過標籤查找元素，好比：span
        Elements span = document.select("span"); for (Element element : span) { System.out.println("span:" + element.text()); } //#id: 經過ID查找元素，好比：#city_bjj
        String str = document.select("#city_bj").text(); System.out.println("#city_bj" + str); //.class: 經過class名稱查找元素，好比：.class_a
        str = document.select(".class_a").text(); System.out.println(".class_a" + str); //[attribute]: 利用屬性查找元素，好比：[abc]
        str = document.select("[abc]").text(); System.out.println("[abc]" + str); //[attr=value]: 利用屬性值來查找元素，好比：[class=s_name]
        str = document.select("[class=s_name]").text(); System.out.println("#[class=s_name]" + str); } /** * 組合選擇器 * * @throws Exception */ @Test public void testJsoupHtml4() throws Exception { Document document = Jsoup.parse(new File("F:\\boss\\1.html"), "UTF-8"); //el#id: 元素+ID，好比： h3#city_bj
        String str = document.select("h3#city_bj").text(); //el.class: 元素+class，好比： li.class_a
        str = document.select("li.class_a").text(); //el[attr]: 元素+屬性名，好比： span[abc]
        str = document.select("span[abc]").text(); //任意組合，好比：span[abc].s_name
        str = document.select("span[abc].s_name").text(); //ancestor child: 查找某個元素下子元素，好比：.city_con li 查找"city_con"下的全部li
        str = document.select(".city_con li").text(); //parent > child: 查找某個父元素下的直接子元素， //好比：.city_con > ul > li 查找city_con第一級（直接子元素）的ul，再找全部ul下的第一級li
        str = document.select(".city_con > ul > li").text(); //parent > * 查找某個父元素下全部直接子元素.city_con > *
        str = document.select(".city_con > *").text(); }