我用了30行代碼，爬了知乎好多妹子

寫一個爬蟲有多簡單？答案是：不到30行代碼

我用了不到30行代碼，爬了知乎好多妹子圖！！！

 

 

跟着我一步一步來，你也能夠簡簡單單建立一個爬蟲。

目標

爬蟲的第一步就是決定要爬些什麼。做爲一個屌的不能再屌的屌絲，固然要爬妹子！！！

每當這個時候，就要拿出個人儲備了。 欲罷不能的大美妞 ，要說妹子圖的質量，仍是得知乎啊。

分析

目標有了，咱們就要先分析一下。頁面結構。在頁面中找任一個爬取目標，點擊鼠標右鍵，選擇【檢查】選項。便會打開瀏覽器的控制檯，並定位到咱們的目標圖片的節點上。以下圖：

 

 

圖中的img標籤就是咱們的爬取目標，咱們能夠明確的看到 data-original 元素的內容與 src元素的內容都是圖片的地址。通過驗證， src 元素的內容可能會是縮略圖地址，因此咱們放棄 src 選擇 data-original。

以上就是咱們要分析的部分，接下來就是代碼。

編碼

新建項目

這裏咱們使用 maven 做爲項目的依賴管理工具。

新建一個 maven 項目，並在 pom.xml 中引入依賴。

<dependencies>
        <dependency>
            <groupId>com.github.zhangyingwei</groupId>
            <artifactId>cockroach</artifactId>
            <version>1.0-Alpha</version>
        </dependency>
        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.17</version>
        </dependency>
        <dependency>
            <groupId>com.squareup.okhttp3</groupId>
            <artifactId>okhttp</artifactId>
            <version>3.8.1</version>
        </dependency>
        <!--json-lib-->
        <dependency>
            <groupId>net.sf.json-lib</groupId>
            <artifactId>json-lib</artifactId>
            <version>2.4</version>
            <classifier>jdk15</classifier>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.jsoup/jsoup -->
        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.8.3</version>
        </dependency>
    </dependencies>

這裏咱們使用了爬蟲框架 cockroach 。並引入了 log4j 做爲日誌框架，okhttp3 做爲 http 客戶端，json-lib 做爲 json 解析工具，以及 jsoup 做爲 html 解析工具。

創建包結構以下

 

 

• store 主要存放頁面解析以及結果存儲相關類
• utils 主要存放項目中用到的相關工具類
• App.java 項目入口

編碼

程序主入口 App.java

public class App {
    public static void main(String[] args) throws InstantiationException, IllegalAccessException, InterruptedException {
        CockroachConfig config = new CockroachConfig().setAppName("知乎上的妹子們").setThread(10).setStore(ZhihuGirlsStore.class);
        TaskQueue queue = TaskQueue.of();
        getPageFrom(queue);
        CockroachContext context = new CockroachContext(config);
        context.start(queue);
    }

    private static void getPageFrom(TaskQueue queue) throws InterruptedException {
        String basePath = "https://www.zhihu.com/collection/72114548?page=";
        for (int i = 1; i <= 68; i++) {
            queue.push(new Task(basePath + i));
        }
    }
}

在上邊的代碼中，咱們一共分爲5步。

1. 咱們建立了一個名稱爲 知乎上的妹子們 的爬蟲，使用了 10 個線程來爬取內容，並指定了頁面解析以及結果存儲的處理類爲 ZhihuGirlsStore.class
2. 建立了一個默認長度的任務隊列
3. 初始化任務到任務隊列中
4. 建立了一個 Cockroach 爬蟲上下文對象
5. 啓動爬蟲

頁面解析以及存儲 ZhihuGirlsStore.java

public class ZhihuGirlsStore implements IStore {
    public void store(TaskResponse taskResponse) throws Exception {
        if (taskResponse.getTask().getGroup().equals("img")) {
            byte[] bytes = taskResponse.getResponse().body().bytes();
            ImageUtils.save(bytes);
        } else {
            Elements imgs = taskResponse.select(".zm-item-answer").select("img");
            imgs.stream().map(element -> element.attr("data-original")).forEach(url -> {
                try {
                    taskResponse.getQueue().push(new Task(url, "img"));
                } catch (Exception e) {
                    e.printStackTrace();
                }
            });
        }
    }
}

Cockroach 的 task 中爲咱們提供了 group 字段來標識每個 任務，若是不設置，任務默認的 group 爲 default 。
在本爬蟲程序中，咱們的 task 一共可分爲兩種，一種是解析頁面獲得頁面中的圖片地址，另一種就是爬取圖片內容。
這裏咱們經過 group 字段來區分兩種任務，具體操做就是在解析到圖片地址並添加到隊列中的時候，給 task 設置 group 爲 img，這樣咱們在收到一個結果的時候，就能夠經過 task 中的 group 字段來區分咱們要作何種操做（解析頁面 / 保存圖片）。

圖片存儲 ImageUtils.java

public class ImageUtils {
    public static void save(byte[] bytes) throws IOException {
        String fileName = UUID.randomUUID().toString();
        String dirpath = "meizhi2";
        File dir = new File(dirpath);
        if(!dir.exists()){
            dir.mkdirs();
        }
        FileOutputStream outputStream = new FileOutputStream(dirpath + "/" + fileName + ".jpg");
        outputStream.write(bytes);
        outputStream.close();
        System.out.println("save image:" + fileName);
    }
}

以上代碼就是把接收到的二進制圖片內容保存爲圖片。圖片的名稱使用一個隨機的 UUID 值。

沒錯老鐵們，以上就是咱們的所有的代碼。包括方法聲明在內的有效代碼不到30行！！！

別忘了最後一步。運行 App.java 中的 main 方法，接下來就休息休息吧。。。