Surfer 高併發雙核無頭瀏覽器 （Golang語言）

Surfer  

 

A high level concurrency downloader.

surfer是一款Go語言編寫的高併發爬蟲下載器，擁有surf與phantom兩種下載內核。

支持固定UserAgent自動保存cookie與隨機大量UserAgent禁用cookie兩種模式，高度模擬瀏覽器行爲，可實現模擬登陸等功能。

高併發爬蟲Pholcus的專用下載器。（官方QQ羣：Go大數據 42731170，歡迎加入咱們的討論）

Features

• Both surf and phantomjs engines are supported
• Support random User-Agent
• Support cache cookie
• Support http/https

Usage

package main
import (
    "github.com/henrylee2cn/surfer"
    "io/ioutil"
    "log"
)
func main() {
    // 默認使用surf內核下載
    resp, err := surfer.Download(&surfer.DefaultRequest{
        Url: "http://github.com/henrylee2cn/surfer",
    })
    if err != nil {
        log.Fatal(err)
    }
    b, err := ioutil.ReadAll(resp.Body)
    log.Println(string(b), err)
    // 指定使用phantomjs內核下載
    resp, err = surfer.Download(&surfer.DefaultRequest{
        Url:          "http://github.com/henrylee2cn",
        DownloaderID: 1,
    })
    if err != nil {
        log.Fatal(err)
    }
    b, err = ioutil.ReadAll(resp.Body)
    log.Println(string(b), err)
    resp.Body.Close()
    surfer.DestroyJsFiles()
}

　　GitHub:  https://github.com/henrylee2cn/surfer