Java網絡爬蟲實操（1）

你們好，提及爬蟲相信不少程序員都聽到過，簡單來說就是自動批量抓網絡上信息的程序。接下來我結合github上一個爬蟲框架NetDiscovery進行演示。

1）爲何要用框架？

框架可以幫助咱們處理一些基礎的、與目標任務沒直接聯繫的工做，讓咱們專一在目標任務上。尤爲對於爬蟲初學者來講，很快就能體會到操做爬蟲帶來的效果與成就感，而沒必要去操心額外的事情。等入了門，再嘗試不依賴框架獨立從零寫一個爬蟲程序，而後再去研究別人已經搭建好的爬蟲框架，等到能閱讀爬蟲框架源代碼之後，相信您已經對網絡爬蟲有必定的研究了。

2）演示環境

Java JDK八、IntelliJ IDEA、Google Chrome

爬蟲框架NetDiscovery： github.com/fengzhizi71…

3）肯定爬蟲任務

從某人才招聘網上獲取指定的崗位信息：公司名稱、崗位名稱

4）人肉分析網頁

用chrome瀏覽器打開目標網頁，輸入查詢條件，找到展現崗位信息的網頁：

紅框位置裏的文字是咱們計劃要寫程序去自動獲取的信息。

這個環節的分析工做很重要，咱們要對抓取的目標網頁、目標數據有明確的瞭解。人眼已經能看到這些信息了，接下來就是寫程序教電腦去幫咱們抓取。

5）建立Java工程

建立一個gradle的java工程：

在項目中添加爬蟲框架NetDiscovery的兩個jar包， 目前版本是0.0.9.3，版本不高，但版本的更新迭代很快，相信是一個有成長力的框架。

group 'com.sinkinka'
version '1.0-SNAPSHOT'

apply plugin: 'java'

sourceCompatibility = 1.8

repositories {
    maven{url 'http://maven.aliyun.com/nexus/content/groups/public/'}
    mavenCentral()
    jcenter();
}

dependencies {
    testCompile group: 'junit', name: 'junit', version: '4.12'

    implementation 'com.cv4j.netdiscovery:netdiscovery-core:0.0.9.3'
    implementation 'com.cv4j.netdiscovery:netdiscovery-extra:0.0.9.3'
}

複製代碼

若是下載不了，請配上阿里雲鏡像地址：

maven.aliyun.com/nexus/conte…

6）代碼實現

參考框架中example模塊下的示例代碼，以及另外一個實例項目： github.com/fengzhizi71…

• 建立main方法的入口類，在main裏啓動爬蟲
• 針對目標網頁的解析，須要建立實現parser接口的類
• 從html字符串中抓取目標內容有多種方法，好比xpath、jsoup、正則表達式等

在java的main方法裏編寫以下代碼：

package com.sinkinka;

import com.cv4j.netdiscovery.core.Spider;
import com.sinkinka.parser.TestParser;

public class TestSpider {
    public static void main(String[] args) {

        //目標任務的網頁地址，能夠拷貝到瀏覽器去查看
        String url = "http://www.szrc.cn/HrMarket/WLZP/ZP/0/%E6%95%B0%E6%8D%AE";

        //依靠NetDiscovery，咱們只須要寫一個parser類就能夠實現基本的爬蟲功能了
        Spider.create()
                .name("spider-1")         //名字隨便起
                .url(url)
                .parser(new TestParser())  //parser類
                .run();
    }
}
複製代碼

TestParser類的代碼：

package com.sinkinka.parser;

import com.cv4j.netdiscovery.core.domain.Page;
import com.cv4j.netdiscovery.core.parser.Parser;
import com.cv4j.netdiscovery.core.parser.selector.Selectable;
import java.util.List;

/**
 * 針對目標網頁的解析類
 */
public class TestParser implements Parser {

    @Override
    public void process(Page page) {

        String xpathStr = "//*[@id=\"grid\"]/div/div[1]/table/tbody/tr";
        List<Selectable> trList = page.getHtml().xpath(xpathStr).nodes();

        for(Selectable tr : trList) {
            String companyName = tr.xpath("//td[@class='td_companyName']/text()").get();
            String positionName = tr.xpath("//td[@class='td_positionName']/a/text()").get();

            if(null != companyName && null != positionName) {
                System.out.println(companyName+"------"+positionName);
            }
        }
   }
}
複製代碼

運行結果：

7）總結

本文依賴爬蟲框架，用盡可能簡單的代碼演示了抓取網頁信息的一種方法。後續會發布更多實操性的內容供你們參考。

---

NetDiscovery爬蟲框架的基本原理圖

下一篇：Java網絡爬蟲實操（2）