Spring Boot 系列教程11-html頁面解析-jsoup
需求
- 須要對一個頁面進行數據抓取，並導出doc文檔
html解析器
- jsoup
- 可直接解析某個URL地址、HTML文本內容。它提供了一套很是省力的API，可經過DOM，CSS以及相似於JQuery的操做方法來取出和操做數據。
- htmlparser
- 提供了線性和嵌套兩種方式來解析網頁，主要用於 html 網頁的轉換(Transformation) 以及網頁內容的抽取 (Extraction)。
- 比較一下
- jsoup能夠直接拿，相似jquery的選擇器同樣用起來比較好上手。htmlparser結構簡單功能強大，難上手，可是自主度高
準備doc文檔並另存爲xml文件
項目圖片
pom.xml
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.10.1</version>
</dependency>
操做流程
- 把xml文件修更名爲Hibernate.ftl後拷貝文件到src/main/resources
- 原來xml文件
<w:body>
<w:p>
<w:pPr>
<w:pStyle w:val="2" />
<w:jc w:val="center" />
<w:rPr>
<w:rFonts w:hint="eastAsia" />
<w:lang w:val="en-US" w:eastAsia="zh-CN" />
</w:rPr>
</w:pPr>
<w:r>
<w:rPr>
<w:rFonts w:hint="eastAsia" />
<w:lang w:val="en-US" w:eastAsia="zh-CN" />
</w:rPr>
<w:t>Hibernate</w:t>
</w:r>
</w:p>
<w:p>
<w:pPr>
<w:rPr>
<w:rFonts w:hint="eastAsia" w:ascii="微軟雅黑" w:hAnsi="微軟雅黑" w:eastAsia="微軟雅黑" w:cs="微軟雅黑" />
<w:b w:val="0" />
<w:i w:val="0" />
<w:caps w:val="0" />
<w:color w:val="555555" />
<w:spacing w:val="0" />
<w:sz w:val="21" />
<w:szCs w:val="21" />
<w:shd w:val="clear" w:color="auto" w:fill="FFFFFF" />
</w:rPr>
</w:pPr>
<w:r>
<w:rPr>
<w:rFonts w:ascii="微軟雅黑" w:hAnsi="微軟雅黑" w:eastAsia="微軟雅黑" w:cs="微軟雅黑" />
<w:b w:val="0" />
<w:i w:val="0" />
<w:caps w:val="0" />
<w:color w:val="555555" />
<w:spacing w:val="0" />
<w:sz w:val="21" />
<w:szCs w:val="21" />
<w:shd w:val="clear" w:color="auto" w:fill="FFFFFF" />
</w:rPr>
<w:t>你還在爲不知道怎樣正確使用Hibernate而糾結嗎</w:t>
</w:r>
<w:r>
<w:rPr>
<w:rFonts w:ascii="微軟雅黑" w:hAnsi="微軟雅黑" w:eastAsia="微軟雅黑" w:cs="微軟雅黑" />
<w:b w:val="0" />
<w:i w:val="0" />
<w:caps w:val="0" />
<w:color w:val="555555" />
<w:spacing w:val="0" />
<w:sz w:val="21" />
<w:szCs w:val="21" />
<w:shd w:val="clear" w:color="auto" w:fill="FFFFFF" />
<w:lang w:val="en-US" />
</w:rPr>
<w:t>,</w:t>
</w:r>
<w:r>
<w:rPr>
<w:rFonts w:hint="eastAsia" w:ascii="微軟雅黑" w:hAnsi="微軟雅黑" w:eastAsia="微軟雅黑" w:cs="微軟雅黑" />
<w:b w:val="0" />
<w:i w:val="0" />
<w:caps w:val="0" />
<w:color w:val="555555" />
<w:spacing w:val="0" />
<w:sz w:val="21" />
<w:szCs w:val="21" />
<w:shd w:val="clear" w:color="auto" w:fill="FFFFFF" />
</w:rPr>
<w:t>你還在爲不知道怎樣配置映射文件而鬱悶嗎</w:t>
</w:r>
</w:p>
<w:p>
<w:pPr>
<w:pStyle w:val="3" />
<w:rPr>
<w:rFonts w:hint="eastAsia" />
</w:rPr>
</w:pPr>
<w:r>
<w:rPr>
<w:rFonts w:hint="eastAsia" />
</w:rPr>
<w:t>Hibernate 系列教</w:t>
</w:r>
<w:bookmarkStart w:id="0" w:name="_GoBack" />
<w:bookmarkEnd w:id="0" />
<w:r>
<w:rPr>
<w:rFonts w:hint="eastAsia" />
</w:rPr>
<w:t>程1-枚舉單例類</w:t>
</w:r>
</w:p>
<w:p>
<w:pPr>
<w:rPr>
<w:rFonts w:hint="eastAsia" />
<w:lang w:val="en-US" w:eastAsia="zh-CN" />
</w:rPr>
</w:pPr>
<w:r>
<w:rPr>
<w:rFonts w:hint="eastAsia" />
</w:rPr>
<w:fldChar w:fldCharType="begin" />
</w:r>
<w:r>
<w:rPr>
<w:rFonts w:hint="eastAsia" />
</w:rPr>
<w:instrText xml:space="preserve"> HYPERLINK "http://blog.csdn.net/je_ge/article/details/53234944" </w:instrText>
</w:r>
<w:r>
<w:rPr>
<w:rFonts w:hint="eastAsia" />
</w:rPr>
<w:fldChar w:fldCharType="separate" />
</w:r>
<w:r>
<w:rPr>
<w:rStyle w:val="7" />
<w:rFonts w:hint="eastAsia" />
</w:rPr>
<w:t>http://blog.csdn.net/je_ge/article/details/53234944</w:t>
</w:r>
<w:r>
<w:rPr>
<w:rFonts w:hint="eastAsia" />
</w:rPr>
<w:fldChar w:fldCharType="end" />
</w:r>
</w:p>
<w:sectPr>
<w:pgSz w:w="11906" w:h="16838" />
<w:pgMar w:top="1440" w:right="1800" w:bottom="1440" w:left="1800" w:header="851" w:footer="992" w:gutter="0" />
<w:cols w:space="720" w:num="1" />
<w:docGrid w:type="lines" w:linePitch="312" w:charSpace="0" />
</w:sectPr>
</w:body>
- 如今ftl文件修改地方
<w:body>
<w:p>
<w:pPr>
<w:pStyle w:val="2" />
<w:jc w:val="center" />
<w:rPr>
<w:rFonts w:hint="eastAsia" />
<w:lang w:val="en-US" w:eastAsia="zh-CN" />
</w:rPr>
</w:pPr>
<w:r>
<w:rPr>
<w:rFonts w:hint="eastAsia" />
<w:lang w:val="en-US" w:eastAsia="zh-CN" />
</w:rPr>
<w:t>${title}</w:t>
</w:r>
</w:p>
<w:p>
<w:pPr>
<w:rPr>
<w:rFonts w:hint="eastAsia" w:ascii="微軟雅黑" w:hAnsi="微軟雅黑" w:eastAsia="微軟雅黑" w:cs="微軟雅黑" />
<w:b w:val="0" />
<w:i w:val="0" />
<w:caps w:val="0" />
<w:color w:val="555555" />
<w:spacing w:val="0" />
<w:sz w:val="21" />
<w:szCs w:val="21" />
<w:shd w:val="clear" w:color="auto" w:fill="FFFFFF" />
</w:rPr>
</w:pPr>
<w:r>
<w:rPr>
<w:rFonts w:ascii="微軟雅黑" w:hAnsi="微軟雅黑" w:eastAsia="微軟雅黑" w:cs="微軟雅黑" />
<w:b w:val="0" />
<w:i w:val="0" />
<w:caps w:val="0" />
<w:color w:val="555555" />
<w:spacing w:val="0" />
<w:sz w:val="21" />
<w:szCs w:val="21" />
<w:shd w:val="clear" w:color="auto" w:fill="FFFFFF" />
</w:rPr>
<w:t>${content}</w:t>
</w:r>
</w:p>
<#list list as map>
<w:p>
<w:pPr>
<w:pStyle w:val="3" />
<w:rPr>
<w:rFonts w:hint="eastAsia" />
</w:rPr>
</w:pPr>
<w:r>
<w:rPr>
<w:rFonts w:hint="eastAsia" />
</w:rPr>
<w:t>${map.title}</w:t>
</w:r>
</w:p>
<w:p>
<w:pPr>
<w:rPr>
<w:rFonts w:hint="eastAsia" />
<w:lang w:val="en-US" w:eastAsia="zh-CN" />
</w:rPr>
</w:pPr>
<w:r>
<w:rPr>
<w:rFonts w:hint="eastAsia" />
</w:rPr>
<w:fldChar w:fldCharType="begin" />
</w:r>
<w:r>
<w:rPr>
<w:rFonts w:hint="eastAsia" />
</w:rPr>
<w:instrText xml:space="preserve"> HYPERLINK "${map.title}" </w:instrText>
</w:r>
<w:r>
<w:rPr>
<w:rFonts w:hint="eastAsia" />
</w:rPr>
<w:fldChar w:fldCharType="separate" />
</w:r>
<w:r>
<w:rPr>
<w:rStyle w:val="7" />
<w:rFonts w:hint="eastAsia" />
</w:rPr>
<w:t>${map.href}</w:t>
</w:r>
<w:r>
<w:rPr>
<w:rFonts w:hint="eastAsia" />
</w:rPr>
<w:fldChar w:fldCharType="end" />
</w:r>
</w:p>
</#list>
<w:sectPr>
<w:pgSz w:w="11906" w:h="16838" />
<w:pgMar w:top="1440" w:right="1800" w:bottom="1440" w:left="1800" w:header="851" w:footer="992" w:gutter="0" />
<w:cols w:space="720" w:num="1" />
<w:docGrid w:type="lines" w:linePitch="312" w:charSpace="0" />
</w:sectPr>
</w:body>
JsoupTest
package com.jege.spring.boot;
import java.io.File;
import java.io.FileWriter;
import java.util.ArrayList;
import java.util.Collections;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringJUnit4ClassRunner;
import org.springframework.web.servlet.view.freemarker.FreeMarkerConfigurer;
import freemarker.template.Template;
/** * @author JE哥 * @email 1272434821@qq.com * @description:獲取鏈接，寫出doc文件 */
@RunWith(SpringJUnit4ClassRunner.class)
@SpringBootTest()
public class JsoupTest {
// 讀取博客信息的地址
private final static String URL_ADDRESS = "http://blog.csdn.net/je_ge?viewmode=contents";
// <h1>
// <span class="link_title"><a href="/je_ge/article/details/53366556">
// Spring Boot 系列教程9-swagger-先後端分離後的標準
// </a></span>
// </h1>
private Elements getLinks() throws Exception {
// 新版本須要設置瀏覽器頭信息
Document document = Jsoup.connect(URL_ADDRESS)
.userAgent("Mozilla/5.0 (Windows NT 7.0; Win64; x64; rv:49.0) Gecko/20100101 Firefox/49.0").get();
return document.select("h1 a");
}
@Test
public void testGetLinks() throws Exception {
Elements links = getLinks();
for (int i = links.size() - 1; i >= 0; i--) {
Element link = links.get(i);
String attr = link.attr("href");
String linkText = link.text();
System.out.println(linkText);
System.out.println(attr);
}
System.out.println("size:" + links.size());
}
@Autowired
private FreeMarkerConfigurer freeMarkerConfigurer;
@Test
public void writeHibernate() throws Exception {
String title = "Hibernate 系列教程";
String content = "Hibernate是一個開放源代碼的對象關係映射框架，它對JDBC進行了很是輕量級的對象封裝，它將POJO與數據庫表創建映射關係，是一個全自動的orm框架，hibernate能夠自動生成SQL語句，自動執行，使得Java程序員能夠爲所欲爲的使用對象編程思惟來操縱數據庫。 Hibernate能夠應用在任何使用JDBC的場合，既能夠在Java的客戶端程序使用，也能夠在Servlet/JSP的Web應用中使用，最具革命意義的是，Hibernate能夠在應用EJB的J2EE架構中取代CMP，完成數據持久化的重任。";
Elements links = getLinks();
List<Map<String, Object>> list = new ArrayList<Map<String, Object>>();
for (Element link : links) {
String linkText = link.text();
if (linkText.contains(title)) {
Map<String, Object> map = new HashMap<String, Object>();
map.put("href", "http://blog.csdn.net/" + link.attr("href"));
map.put("title", linkText.replaceAll(title, ""));
list.add(map);
}
}
Collections.reverse(list);
System.out.println("size:" + links.size());
freeMarkerConfigurer.getConfiguration().setClassForTemplateLoading(getClass(), "/");
Template template = freeMarkerConfigurer.getConfiguration().getTemplate("Hibernate.ftl");
Map<String, Object> root = new HashMap<String, Object>();
root.put("title", title);
root.put("content", content);
root.put("list", list);
template.process(root, new FileWriter(new File(title + ".doc")));
}
}
其餘關聯代碼
- Spring Boot 系列教程10-freemarker導出word下載
http://blog.csdn.net/je_ge/article/details/53410364
源碼地址
https://github.com/je-ge/spring-boothtml
若是以爲個人文章對您有幫助,請予以打賞。您的支持將鼓勵我繼續創做!謝謝！
java
相關文章
- 1. Spring Boot html頁面解析之jsoup
- 2. Spring Boot 菜鳥教程 11 html頁面解析-jsoup
- 3. spring boot系列教程一
- 4. Spring Boot教程系列（ImportNew ）
- 5. Spring Boot教程系列
- 6. java解析頁面包jsoup
- 7. Spring Boot 2.x 系列教程：WebFlux 系列教程大綱（一）
- 8. Spring Boot 系列教程7-EasyUI-datagrid
- 9. Spring Boot 系列教程2-Data JPA
- 10. Spring Boot 系列教程20-elasticsearch
- 更多相關文章...
- • Spring體系結構詳解 - Spring教程
- • XSL-FO 頁面 - XSL-FO 教程
- • Java 8 Stream 教程
- • YAML 入門教程
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
- 1. eclipse設置粘貼字符串自動轉義
- 2. android客戶端學習-啓動模擬器異常Emulator: failed to initialize HAX: Invalid argument
- 3. android.view.InflateException: class com.jpardogo.listbuddies.lib.views.ListBuddiesLayout問題
- 4. MYSQL8.0數據庫恢復 MYSQL8.0ibd數據恢復 MYSQL8.0恢復數據庫
- 5. 你本是一個肉體，是什麼驅使你前行【1】
- 6. 2018.04.30
- 7. 2018.04.30
- 8. 你本是一個肉體，是什麼驅使你前行【3】
- 9. 你本是一個肉體，是什麼驅使你前行【2】
- 10. 【資訊】LocalBitcoins達到每週交易比特幣的7年低點
歡迎關注本站公眾號,獲取更多信息
相關文章
- 1. Spring Boot html頁面解析之jsoup
- 2. Spring Boot 菜鳥教程 11 html頁面解析-jsoup
- 3. spring boot系列教程一
- 4. Spring Boot教程系列（ImportNew ）
- 5. Spring Boot教程系列
- 6. java解析頁面包jsoup
- 7. Spring Boot 2.x 系列教程：WebFlux 系列教程大綱（一）
- 8. Spring Boot 系列教程7-EasyUI-datagrid
- 9. Spring Boot 系列教程2-Data JPA
- 10. Spring Boot 系列教程20-elasticsearch