java使用jsoup爬取數據並解析

首先這邊文章只爲記錄簡單的jsoup 和 dom4j的基本使用，而且爬蟲是爬本身公司的數據也有必定侷限性。參考性頗有限，只給本身作個記錄。

 

由於公司每個月會統計加班到晚上8點以後的考勤次數，根據這個會象徵性的發一些補助。然而每次都得盯着，搞的煩不剩煩（也多是我懶），就想着直接爬整個部門的符合規定的考勤次數。

1.首先分析下要爬的數據 ：

a.獲取到請求考勤的接口 ，網站開發工具就能抓到比較順利（這裏我登陸沒有搞定，迂迴了一下。後面會記錄實現方式）

b.分析數據格式，簡單的html-table表格 nice！

二 、 獲取考勤數據並整理輸出到excel

這裏爬數據我用了jsoup ,處理數據用了dom4j

    maven引入

<dependency>
      <groupId>org.jsoup</groupId>
      <artifactId>jsoup</artifactId>
      <version>1.12.1</version>
    </dependency>
    <dependency>
      <groupId>dom4j</groupId>
      <artifactId>dom4j</artifactId>
      <version>1.6.1</version>
    </dependency>

代碼以下： 

/**
   * 模擬請求獲取數據
   *
   * @param userId 用戶id
   * @param date 日期
   */
  @Override
  public List<KaoQinData> getPunchList(Integer userId, String date) throws Exception {
    UserBean user = userMapper.getUser(userId);
//拼裝請求地址、參數和必要的請求頭信息
    StringBuilder url = new StringBuilder();
    url.append("http://xxxxxx.com/newkaoqin?userid=");
    url.append(userId);
    url.append("&seldate=");
    url.append(date);
    Connection con2 = Jsoup.connect(url.toString());
    con2.header("User-Agent", USER_AGENT);
    con2.header("Host", HOST);
    con2.header("Referer", REFERER);
    con2.header("Cookie", getCookie());
    Response response = con2.ignoreContentType(true).method(Method.GET).execute();
//處理返回的數據
    String body = response.body();
    Document doc = Jsoup.parse(body);
//定位到要解析的位置 選擇器能夠任意選擇。
    Elements tab2 = doc.getElementsByClass("tab2");
//由於後面有不少無用數據，咱們只用第一個因此獲取第一個數據
    Element first = tab2.first();
//    first可能爲空
    Elements tr = first.select("tr");
//處理數據  KaoQinData 是考勤數據的實體。統計後返回實體的集合
    List<KaoQinData> kaoQinData = new ArrayList<>();
    KaoQinData kaoQin;
    for (Iterator<org.jsoup.nodes.Element> cit = tr.iterator(); cit.hasNext(); ) {
      Element tr1 = cit.next();
      Elements td = tr1.select("td");
      if (td.size() > 0) {
        Element punchDateEle = td.get(0);
        String punchDateStr = punchDateEle.text();
        Element punchTimeEle = td.get(4);
        String punchTimeStr = punchTimeEle.text();
        if (!StringUtils.isEmpty(punchTimeStr)) {
          String substring = punchTimeStr.substring(0, punchTimeStr.indexOf(":"));
          Integer integer = Integer.valueOf(substring);
          if (integer >= 20) {
            System.out.println(punchDateStr + "," + punchTimeStr);
            kaoQin = new KaoQinData(user.getRealName(), punchDateStr, punchTimeStr);
            kaoQinData.add(kaoQin);
          }
        }
      }
    }
    return kaoQinData;
  }

這裏基本上就差很少了。輸出excel什麼的。隨便啦 喜歡用什麼就用什麼；

 

附：順便說一下，我由於沒有搞定自動登陸獲取cookie，偷巧迂迴了一下，

1.在項目中建立了一個文件專門存放cookie，像這樣：

2.所以寫了一個接口用來更新cookie的接口，把新的cookie寫上去覆蓋cookie文件。

3.使用的時候獲取cookiefile文件內的cookie。（有點麻煩，後面有空再研究下自動登陸）

/**
   * 獲取coockie.
   * @return
   * @throws IOException
   */
  private String getCookie() throws IOException {
    int num;
    char[] buf = new char[1024];
    File file = new File(COOKIE_FILEPATH);
    if (!file.exists()) {
      file.createNewFile();
    }
    FileReader fileReader = new FileReader(file.getPath());
    StringBuilder stringBuilder = new StringBuilder();

    while ((num = fileReader.read(buf)) != -1) {
      stringBuilder.append(buf, 0, num);
    }
    return stringBuilder.toString();
  }