Java網絡爬蟲 Jsoup

時間  2019-11-06
標籤 java 網絡 爬蟲 jsoup 欄目 Java 简体版
原文   原文鏈接

1、Jsoup介紹

咱們抓取到頁面以後，還須要對頁面進行解析。可使用字符串處理工具解析頁面，也可使用正則表達式，可是這些方法都會帶來很大的開發成本，因此咱們須要使用一款專門解析html頁面的技術。
jsoup is a Java library for working with real-world HTML. It provides a very convenient API for extracting and manipulating data, using the best of DOM, CSS, and jquery-like methods.html

jsoup 是一款Java 的HTML解析器，可直接解析某個URL地址、HTML文本內容。它提供了一套很是省力的API，可經過DOM，CSS以及相似於jQuery的操做方法來取出和操做數據。jquery

這個給出jsoup的中文幫助文檔https://www.open-open.com/jsoup/正則表達式

jsoup的主要功能以下：
1.從一個URL，文件或字符串中解析HTML；
2.使用DOM或CSS選擇器來查找、取出數據；
3.可操做HTML元素、屬性、文本；apache

先加入Jsoup依賴：多線程

!--Jsoup-->
<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.10.3</version>
</dependency>
<!--測試-->
<dependency>
    <groupId>junit</groupId>
    <artifactId>junit</artifactId>
    <version>4.12</version>
</dependency>
<!--工具-->
<dependency>
    <groupId>org.apache.commons</groupId>
    <artifactId>commons-lang3</artifactId>
    <version>3.7</version>
</dependency>
<dependency>
    <groupId>commons-io</groupId>
    <artifactId>commons-io</artifactId>
    <version>2.6</version>
</dependency>

 2、Jsoup解析

一、解析URL

Jsoup能夠直接輸入url，它會發起請求並獲取數據，封裝爲Document對象dom

@Test
public void testJsoupUrl() throws Exception {
    //    解析url地址
    Document document = Jsoup.parse(new URL("http://www.itcast.cn/"), 1000);

    //獲取title的內容
    Element title = document.getElementsByTag("title").first();
    System.out.println(title.text());
}

PS：雖然使用Jsoup能夠替代HttpClient直接發起請求解析數據，可是每每不會這樣用，由於實際的開發過程當中，須要使用到多線程，鏈接池，代理等等方式，而jsoup對這些的支持並非很好，因此咱們通常把jsoup僅僅做爲Html解析工具使用ide

二、解析字符串工具

先準備如下html文件
測試

<html>
 <head> 
  <title>傳智播客官網-同樣的教育,不同的品質</title> 
 </head> 
 <body>
    <div class="city">
        <h3 id="city_bj">北京中心</h3>
        <fb:img src="/2018czgw/images/slogan.jpg" class="slogan"/>
        <div class="city_in">
            <div class="city_con" style="display: none;">
                <ul>
                    <li id="test" class="class_a class_b">
                        <a href="http://www.itcast.cn" target="_blank">
                            <span class="s_name">北京</span>
                        </a>
                    </li>
                    <li>
                        <a href="http://sh.itcast.cn" target="_blank">
                            <span class="s_name">上海</span>
                        </a>
                    </li>
                    <li>
                        <a href="http://gz.itcast.cn" target="_blank">
                            <span abc="123" class="s_name">廣州</span>
                        </a>
                    </li>
                    <ul>
                        <li>天津</li>
                    </ul>                    
                </ul>
            </div>
        </div>
    </div>
 </body>
</html>

Jsoup能夠直接輸入字符串，並封裝爲Document對象url

@Test
public void testJsoupString() throws Exception {
    //讀取文件獲取
    String html = FileUtils.readFileToString(new File("D:\\jsoup.html"), "UTF-8");

    //    解析字符串
    Document document = Jsoup.parse(html);

    //獲取title的內容
    Element title = document.getElementsByTag("title").first();
    System.out.println(title.text());

}

三、解析文件

Jsoup能夠直接解析文件，並封裝爲Document對象

@Test
public void testJsoupHtml() throws Exception {
    //    解析文件
    Document document = Jsoup.parse(new File("D:\\jsoup.html"),"UTF-8");

    //獲取title的內容
    Element title = document.getElementsByTag("title").first();
    System.out.println(title.text());
}

四、使用dom方式遍歷文檔

關於dom的說明

HTML DOM 定義了訪問和操做 HTML 文檔的標準方法。
DOM 將 HTML 文檔表達爲樹結構。

就像是下圖這樣的HTML dom樹結構

w3school關於dom的教程：https://www.w3school.com.cn/htmldom/index.asp

 

 元素獲取
1.根據id查詢元素getElementById
2.根據標籤獲取元素getElementsByTag
3.根據class獲取元素getElementsByClass
4.根據屬性獲取元素getElementsByAttribute

//1.    根據id查詢元素getElementById
Element element = document.getElementById("city_bj");

//2.   根據標籤獲取元素getElementsByTag
element = document.getElementsByTag("title").first();

//3.   根據class獲取元素getElementsByClass
element = document.getElementsByClass("s_name").last();

//4.   根據屬性獲取元素getElementsByAttribute
element = document.getElementsByAttribute("abc").first();
element = document.getElementsByAttributeValue("class", "city_con").first();

元素中獲取數據
1.從元素中獲取id
2.從元素中獲取className
3.從元素中獲取屬性的值attr
4.從元素中獲取全部屬性attributes
5.從元素中獲取文本內容text

//獲取元素
Element element = document.getElementById("test");

//1.   從元素中獲取id
String str = element.id();

//2.   從元素中獲取className
str = element.className();

//3.   從元素中獲取屬性的值attr
str = element.attr("id");

//4.   從元素中獲取全部屬性attributes
str = element.attributes().toString();

//5.   從元素中獲取文本內容text
str = element.text();

 

五、Selector選擇器

jsoup elements對象支持相似於CSS (或jquery)的選擇器語法，來實現很是強大和靈活的查找功能。這個select 方法在Document, Element,或Elements對象中均可以使用。且是上下文相關的，所以可實現指定元素的過濾，或者鏈式選擇訪問。
Select方法將返回一個Elements集合，並提供一組方法來抽取和處理結果。

tagname: 經過標籤查找元素，好比：span
#id: 經過ID查找元素，好比：# city_bj
.class: 經過class名稱查找元素，好比：.class_a
[attribute]: 利用屬性查找元素，好比：[abc]
[attr=value]: 利用屬性值來查找元素，好比：[class=s_name]

//tagname: 經過標籤查找元素，好比：span
Elements span = document.select("span");
for (Element element : span) {
    System.out.println(element.text());
}

//#id: 經過ID查找元素，好比：#city_bjj
String str = document.select("#city_bj").text();

//.class: 經過class名稱查找元素，好比：.class_a
str = document.select(".class_a").text();

//[attribute]: 利用屬性查找元素，好比：[abc]
str = document.select("[abc]").text();

//[attr=value]: 利用屬性值來查找元素，好比：[class=s_name]
str = document.select("[class=s_name]").text();

六、Selector選擇器的組合使用

el#id: 元素+ID，好比： h3#city_bj
el.class: 元素+class，好比： li.class_a
el[attr]: 元素+屬性名，好比： span[abc]
任意組合: 好比：span[abc].s_name
ancestor child: 查找某個元素下子元素，好比：.city_con li 查找"city_con"下的全部li
parent > child: 查找某個父元素下的直接子元素，好比：
.city_con > ul > li 查找city_con第一級（直接子元素）的ul，再找全部ul下的第一級li
parent > *: 查找某個父元素下全部直接子元素

//el#id: 元素+ID，好比： h3#city_bj
String str = document.select("h3#city_bj").text();

//el.class: 元素+class，好比： li.class_a
str = document.select("li.class_a").text();

//el[attr]: 元素+屬性名，好比： span[abc]
str = document.select("span[abc]").text();

//任意組合，好比：span[abc].s_name
str = document.select("span[abc].s_name").text();

//ancestor child: 查找某個元素下子元素，好比：.city_con li 查找"city_con"下的全部li
str = document.select(".city_con li").text();

//parent > child: 查找某個父元素下的直接子元素，
//好比：.city_con > ul > li 查找city_con第一級（直接子元素）的ul，再找全部ul下的第一級li
str = document.select(".city_con > ul > li").text();

//parent > * 查找某個父元素下全部直接子元素.city_con > *
str = document.select(".city_con > *").text();
相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程