Jsoup獲取全國地區數據屬性值（省市縣鎮村）

jsoup 是一款Java 的HTML解析器，可直接解析某個URL地址、HTML文本內容。它提供了一套很是省力的API，可經過DOM，CSS以及相似於jQuery的操做方法來取出和操做數據。

最近手頭在作一些東西，須要一個全國各地的地域數據，從省市區到縣鎮鄉街道的。各類度娘，各類谷歌，都沒找到一個完整的數據。最後功夫不負有心人，總算找到一份相對來講比較完整的數據，可是這裏的數據也只是精確到鎮級別，沒有村一級的數據（後來經過分析數據源我知道了爲何，呵呵），在加上博主提供的有些數據存在冗餘，對於有強迫症和追求完美的我，心想着我必定要本身動手去把這部分數據給爬取出來。

　　上述博文中的內容還算豐富，博主是用的是php來實現的，做爲2015年度編程語言排行榜的第一位，咱們也不能示弱啊，下面我就帶着你們一塊兒來看看用java怎麼從網頁當中爬取咱們想要的數據...

第一步、準備工做（數據源+工具）:

　　數據源（截止目前最全面權威的官方數據）：http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2013/

　　爬取數據的工具（爬蟲工具）：http://jsoup.org/

第二步、數據源分析：

　　首先jsoup工具的使用我在這裏就不作講解了，感興趣的能夠本身動手去查閱。

　　作開發就應該多去了解一些軟件工具的使用，在日常開發過程當中遇到了才知道從何下手，鼓勵你們多平時留意一些身邊的軟件工具，以備不時之需。在作這個東西之前，我也不知道jsoup要怎麼用，但我知道jsoup能夠用來幹嗎，在我須要的用到的時候，再去查閱資料，本身學習。

　　上述的數據源是2013年中華人民共和國國家統計局發佈的，其準確性和權威性不言而喻。

　　接下來咱們分析一下數據源的結構，先從首頁提及：

最後看看村一級的數據頁面： 

在村一級的數據中，和上述市縣鎮的數據格式不一致，這一級所表示的數據是最低一級的，因此不存在a連接，所以不能採用上面市縣鎮數據的爬取方式去爬取；這裏展現數據的表格行的class爲villagetr，除開這兩點之外，在每一行數據中包含三列數據，第一列是citycode,第二列是城鄉分類（市縣鎮的數據格式不存在這一項），第三列是城市名稱。

 　　把握了以上各個要點以外，咱們就能夠開始編碼了。

第三步、編碼實現：

import java.io.BufferedWriter;
 import java.io.File;
 import java.io.FileWriter;
 import java.io.IOException;
 import java.util.HashMap;
 import java.util.Map;
 import org.jsoup.Jsoup;
 import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
/**
 * 全國省市縣鎮村數據爬取
 * @author liushaofeng
 * @date -- 上午::
 * @version ..
 */
public class JsoupTest
{
  private static Map<Integer, String> cssMap = new HashMap<Integer, String>();
  private static BufferedWriter bufferedWriter = null;
  static
  {
    cssMap.put(, "provincetr");// 省
    cssMap.put(, "citytr");// 市
    cssMap.put(, "countytr");// 縣
    cssMap.put(, "towntr");// 鎮
    cssMap.put(, "villagetr");// 村
  }
  public static void main(String[] args) throws IOException
  {
    int level = ;
    initFile();
    // 獲取全國各個省級信息
    Document connect = connect("http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm//");
    Elements rowProvince = connect.select("tr." + cssMap.get(level));
    for (Element provinceElement : rowProvince)// 遍歷每一行的省份城市
    {
      Elements select = provinceElement.select("a");
      for (Element province : select)// 每個省份(四川省)
      {
        parseNextLevel(province, level + );
      }
    }
    closeStream();
  }
  private static void initFile()
  {
    try
    {
      bufferedWriter = new BufferedWriter(new FileWriter(new File("d:\\CityInfo.txt"), true));
    } catch (IOException e)
    {
      e.printStackTrace();
    }
  }
  private static void closeStream()
  {
    if (bufferedWriter != null)
    {
      try
      {
        bufferedWriter.close();
      } catch (IOException e)
      {
        e.printStackTrace();
      }
      bufferedWriter = null;
    }
  }
  private static void parseNextLevel(Element parentElement, int level) throws IOException
  {
    try
    {
      Thread.sleep();//睡眠一下，不然可能出現各類錯誤狀態碼
    } catch (InterruptedException e)
    {
      e.printStackTrace();
    }
    Document doc = connect(parentElement.attr("abs:href"));
    if (doc != null)
    {
      Elements newsHeadlines = doc.select("tr." + cssMap.get(level));//
      // 獲取表格的一行數據
      for (Element element : newsHeadlines)
      {
        printInfo(element, level + );
        Elements select = element.select("a");// 在遞歸調用的時候，這裏是判斷是不是村一級的數據，村一級的數據沒有a標籤
        if (select.size() != )
        {
          parseNextLevel(select.last(), level + );
        }
      }
    }
  }
  /**
  * 寫一行數據到數據文件中去
  * @param element 爬取到的數據元素
  * @param level 城市級別
  */
  private static void printInfo(Element element, int level)
  {
    try
    {
      bufferedWriter.write(element.select("td").last().text() + "{" + level + "}["
        + element.select("td").first().text() + "]");
      bufferedWriter.newLine();
      bufferedWriter.flush();
    } catch (IOException e)
    {
      e.printStackTrace();
    }
  }
  private static Document connect(String url)
  {
    if (url == null || url.isEmpty())
    {
      throw new IllegalArgumentException("The input url('" + url + "') is invalid!");
    }
    try
    {
      return Jsoup.connect(url).timeout( * ).get();
    } catch (IOException e)
    {
      e.printStackTrace();
      return null;
    }
  }
}

數據爬取過程即是一個漫長的過程，只須要慢慢等待吧，呵呵,因爲程序運行時間較長，請不要在控制檯打印輸出，不然可能會影響程序運行....

最終獲取到數據的格式以下（"{}"中表示城市級別，"[]"中內容表示城市編碼）：

市轄區{3}[110100000000]
東城區{4}[110101000000]
東華門街道辦事處{5}[110101001000]
多福巷社區居委會{6}[110101001001]
銀閘社區居委會{6}[110101001002]
東廠社區居委會{6}[110101001005]
智德社區居委會{6}[110101001006]
南池子社區居委會{6}[110101001007]
黃圖崗社區居委會{6}[110101001008]
燈市口社區居委會{6}[110101001009]
正義路社區居委會{6}[110101001010]
甘雨社區居委會{6}[110101001011]
臺基廠社區居委會{6}[110101001013]
韶九社區居委會{6}[110101001014]
王府井社區居委會{6}[110101001015]
景山街道辦事處{5}[110101002000]
隆福寺社區居委會{6}[110101002001]
吉祥社區居委會{6}[110101002002]
黃化門社區居委會{6}[110101002003]
鐘鼓社區居委會{6}[110101002004]
魏家社區居委會{6}[110101002005]
汪芝麻社區居委會{6}[110101002006]
景山東街社區居委會{6}[110101002008]
皇城根北街社區居委會{6}[110101002009]
交道口街道辦事處{5}[110101003000]
交東社區居委會{6}[110101003001]
福祥社區居委會{6}[110101003002]
大興社區居委會{6}[110101003003]
府學社區居委會{6}[110101003005]
鼓樓苑社區居委會{6}[110101003007]
菊兒社區居委會{6}[110101003008]
南鑼鼓巷社區居委會{6}[110101003009]
安定門街道辦事處{5}[110101004000]
交北頭條社區居委會{6}[110101004001]
北鑼鼓巷社區居委會{6}[110101004002]
國子監社區居委會{6}[110101004003]

......

拿到以上數據之後，本身想幹什麼均可以自我去實現了，以上的代碼能夠直接運行，從數據源爬取後，能夠直接轉換成本身所要的格式。