Jsoup獲取全國地區數據（省市縣鎮村）

時間 2019-11-17

標籤 jsoup 獲取全國地區數據省市縣鎮欄目 Java 简体版

原文原文鏈接

　　最近手頭在作一些東西，須要一個全國各地的地域數據，從省市區到縣鎮鄉街道的。各類度娘，各類谷歌，都沒找到一個完整的數據。最後功夫不負有心人，總算找到一份相對來講比較完整的數據，可是這裏的數據也只是精確到鎮級別，沒有村一級的數據（後來經過分析數據源我知道了爲何，呵呵），在加上博主提供的有些數據存在冗餘，對於有強迫症和追求完美的我，心想着我必定要本身動手去把這部分數據給爬取出來。php

　　上述博文中的內容還算豐富，博主是用的是php來實現的，做爲2015年度編程語言排行榜的第一位，咱們也不能示弱啊，下面我就帶着你們一塊兒來看看用java怎麼從網頁當中爬取咱們想要的數據...css

第一步、準備工做（數據源+工具）:

　　數據源（截止目前最全面權威的官方數據）：http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2013/html

　　爬取數據的工具（爬蟲工具）：http://jsoup.org/java

第二步、數據源分析：

　　首先jsoup工具的使用我在這裏就不作講解了，感興趣的能夠本身動手去查閱。node

　　作開發就應該多去了解一些軟件工具的使用，在日常開發過程當中遇到了才知道從何下手，鼓勵你們多平時留意一些身邊的軟件工具，以備不時之需。在作這個東西之前，我也不知道jsoup要怎麼用，但我知道jsoup能夠用來幹嗎，在我須要的用到的時候，再去查閱資料，本身學習。程序員

　　上述的數據源是2013年中華人民共和國國家統計局發佈的，其準確性和權威性不言而喻。編程

　　接下來咱們分析一下數據源的結構，先從首頁提及：　　編程語言

　　經過分析首頁源碼咱們能夠獲得以下3點：工具

頁面的整個佈局是用的table標籤來控制的，也就是說咱們若是要經過jsoup來選擇超連接，那麼必定要注意，上圖中不是隻要標註了省市地區的地方採用的纔是表格，整個頁面中存在多個表格，所以是不能夠直接經過表格
```
Document connect = connect("http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2013/");
Elements rowProvince = connect.select("table");
```
來解析數據的。佈局
頁面中有超連接的部分有多少地方。多是官方考慮到了大家這種程序員須要獲取這樣的數據的緣由吧，頁面很乾淨，除開下方的備案號是多餘的超連接，其餘的連接能夠直接爬取。
省份城市的數據規律。包含有效信息的表格的每一行都有一個class屬性provincetr,這個屬性很重要，至於爲何重要，請接着往下看；每一行數據中存在多個td標籤，每個td標籤中包含一個a超連接，而這個超連接正是咱們想要的超連接，超連接的文本即便省份（直轄市等）的名稱。

　　再次咱們再看一下通常的數據頁面（通常的數據頁面包括市級、縣級、鎮級這三級數據展現頁面）：

　　之因此要把上述三個頁面放在一塊兒，是由於經過分析咱們能夠發現，這三級數據的數據頁面徹底一致，惟一不一樣的就是在html源碼數據表格中的數據行tr的class屬性不一致，分別對應爲：citytr,countrytrhe towntr。其餘均一致。這樣咱們就能夠用一個通用的方法解決這三個頁面的數據爬取。　　

　　最後看看村一級的數據頁面：　　

　　在村一級的數據中，和上述市縣鎮的數據格式不一致，這一級所表示的數據是最低一級的，因此不存在a連接，所以不能採用上面市縣鎮數據的爬取方式去爬取；這裏展現數據的表格行的class爲villagetr，除開這兩點之外，在每一行數據中包含三列數據，第一列是citycode,第二列是城鄉分類（市縣鎮的數據格式不存在這一項），第三列是城市名稱。

　　把握了以上各個要點以外，咱們就能夠開始編碼了。

第三步、編碼實現：

  1 import java.io.BufferedWriter;
  2 import java.io.File;
  3 import java.io.FileWriter;
  4 import java.io.IOException;
  5 import java.util.HashMap;
  6 import java.util.Map;
  7 
  8 import org.jsoup.Jsoup;
  9 import org.jsoup.nodes.Document;
 10 import org.jsoup.nodes.Element;
 11 import org.jsoup.select.Elements;
 12 
 13 /**
 14  * 全國省市縣鎮村數據爬取
 15  * @author liushaofeng
 16  * @date 2015-10-11 上午12:19:39
 17  * @version 1.0.0
 18  */
 19 public class JsoupTest
 20 {
 21     private static Map<Integer, String> cssMap = new HashMap<Integer, String>();
 22     private static BufferedWriter bufferedWriter = null;
 23 
 24     static
 25     {
 26         cssMap.put(1, "provincetr");// 省
 27         cssMap.put(2, "citytr");// 市
 28         cssMap.put(3, "countytr");// 縣
 29         cssMap.put(4, "towntr");// 鎮
 30         cssMap.put(5, "villagetr");// 村
 31     }
 32 
 33     public static void main(String[] args) throws IOException
 34     {
 35         int level = 1;
 36 
 37         initFile();
 38 
 39         // 獲取全國各個省級信息
 40         Document connect = connect("http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2013/");
 41         Elements rowProvince = connect.select("tr." + cssMap.get(level));
 42         for (Element provinceElement : rowProvince)// 遍歷每一行的省份城市
 43         {
 44             Elements select = provinceElement.select("a");
 45             for (Element province : select)// 每個省份(四川省)
 46             {
 47                 parseNextLevel(province, level + 1);
 48             }
 49         }
 50 
 51         closeStream();
 52     }
 53 
 54     private static void initFile()
 55     {
 56         try
 57         {
 58             bufferedWriter = new BufferedWriter(new FileWriter(new File("d:\\CityInfo.txt"), true));
 59         } catch (IOException e)
 60         {
 61             e.printStackTrace();
 62         }
 63     }
 64 
 65     private static void closeStream()
 66     {
 67         if (bufferedWriter != null)
 68         {
 69             try
 70             {
 71                 bufferedWriter.close();
 72             } catch (IOException e)
 73             {
 74                 e.printStackTrace();
 75             }
 76             bufferedWriter = null;
 77         }
 78     }
 79 
 80     private static void parseNextLevel(Element parentElement, int level) throws IOException
 81     {
 82         try
 83         {
 84             Thread.sleep(500);//睡眠一下，不然可能出現各類錯誤狀態碼
 85         } catch (InterruptedException e)
 86         {
 87             e.printStackTrace();
 88         }
 89 
 90         Document doc = connect(parentElement.attr("abs:href"));
 91         if (doc != null)
 92         {
 93             Elements newsHeadlines = doc.select("tr." + cssMap.get(level));//
 94             // 獲取表格的一行數據
 95             for (Element element : newsHeadlines)
 96             {
 97                 printInfo(element, level + 1);
 98                 Elements select = element.select("a");// 在遞歸調用的時候，這裏是判斷是不是村一級的數據，村一級的數據沒有a標籤
 99                 if (select.size() != 0)
100                 {
101                     parseNextLevel(select.last(), level + 1);
102                 }
103             }
104         }
105     }
106 
107     /**
108      * 寫一行數據到數據文件中去
109      * @param element 爬取到的數據元素
110      * @param level 城市級別
111      */
112     private static void printInfo(Element element, int level)
113     {
114         try
115         {
116             bufferedWriter.write(element.select("td").last().text() + "{" + level + "}["
117                 + element.select("td").first().text() + "]");
118             bufferedWriter.newLine();
119             bufferedWriter.flush();
120         } catch (IOException e)
121         {
122             e.printStackTrace();
123         }
124     }
125 
126     private static Document connect(String url)
127     {
128         if (url == null || url.isEmpty())
129         {
130             throw new IllegalArgumentException("The input url('" + url + "') is invalid!");
131         }
132         try
133         {
134             return Jsoup.connect(url).timeout(100 * 1000).get();
135         } catch (IOException e)
136         {
137             e.printStackTrace();
138             return null;
139         }
140     }
141 }

數據爬取過程即是一個漫長的過程，只須要慢慢等待吧，呵呵,因爲程序運行時間較長，請不要在控制檯打印輸出，不然可能會影響程序運行....

最終獲取到數據的格式以下（"{}"中表示城市級別，"[]"中內容表示城市編碼）：

市轄區{3}[110100000000]
東城區{4}[110101000000]
東華門街道辦事處{5}[110101001000]
多福巷社區居委會{6}[110101001001]
銀閘社區居委會{6}[110101001002]
東廠社區居委會{6}[110101001005]
智德社區居委會{6}[110101001006]
南池子社區居委會{6}[110101001007]
黃圖崗社區居委會{6}[110101001008]
燈市口社區居委會{6}[110101001009]
正義路社區居委會{6}[110101001010]
甘雨社區居委會{6}[110101001011]
臺基廠社區居委會{6}[110101001013]
韶九社區居委會{6}[110101001014]
王府井社區居委會{6}[110101001015]
景山街道辦事處{5}[110101002000]
隆福寺社區居委會{6}[110101002001]
吉祥社區居委會{6}[110101002002]
黃化門社區居委會{6}[110101002003]
鐘鼓社區居委會{6}[110101002004]
魏家社區居委會{6}[110101002005]
汪芝麻社區居委會{6}[110101002006]
景山東街社區居委會{6}[110101002008]
皇城根北街社區居委會{6}[110101002009]
交道口街道辦事處{5}[110101003000]
交東社區居委會{6}[110101003001]
福祥社區居委會{6}[110101003002]
大興社區居委會{6}[110101003003]
府學社區居委會{6}[110101003005]
鼓樓苑社區居委會{6}[110101003007]
菊兒社區居委會{6}[110101003008]
南鑼鼓巷社區居委會{6}[110101003009]
安定門街道辦事處{5}[110101004000]
交北頭條社區居委會{6}[110101004001]
北鑼鼓巷社區居委會{6}[110101004002]
國子監社區居委會{6}[110101004003]
......

拿到以上數據之後，本身想幹什麼均可以自我去實現了，以上的代碼能夠直接運行，從數據源爬取後，能夠直接轉換成本身所要的格式。

後續處理的最終結果，請參見博文：http://www.cnblogs.com/liushaofeng89/p/4937714.html

若是你以爲本博文對你有所幫助，請記得點擊右下方的"推薦"哦，麼麼噠...

轉載請註明出處：http://www.cnblogs.com/liushaofeng89/p/4873086.html