Golang實現簡單爬蟲框架（1）——項目介紹與環境準備

Golang實現簡單爬蟲框架（1）——項目介紹與環境準備

最近學習Go語言，看了慕課網Google工程師深度講解go語言這門課，如今把課程中的爬蟲項目整理出來，同時也做爲本身學習的一個總結。本人菜鳥一枚，若有任何問題，歡迎你們指正。

1、環境準備

一、go語言安裝

Go安裝包下載網址：studygolang.com/dl

選擇對應的版本下載便可

Windows用戶推薦使用msi安裝，簡單方便，並且會自動配置好環境變量

打開Windows中的命令提示符（cmd.exe）執行命令：go version查看go語言版本

二、環境配置

而後咱們須要設置Go語言工做空間gopath目錄(Go語言開發的項目路徑)

Windows 設置以下，新建一個環境變量名稱叫作GOPATH，值爲你的工做目錄，例如GOPATH=D:\Workspace

以上 %GOPATH% 目錄約定有三個子目錄：

src 存放源代碼（好比：.go .c .h .s等）

pkg 編譯後生成的文件（好比：.a）

bin 編譯後生成的可執行文件

bin和pkg目錄能夠不建立，go命令會自動建立（如 go install），只須要建立src目錄便可。

三、Goland安裝與破解

（1）安裝

Goland官網：www.jetbrains.com/go/

選擇對應版本下載安裝便可

（2）破解

關於Goland的破解方式網上已經又不少文章，能夠參考這篇：blog.csdn.net/dodod2012/a…

2、項目介紹

本次爬蟲爬取的是珍愛網的用戶信息數據，爬取步驟爲：

• 1.進入珍愛網城市頁面爬取全部的城市信息
• 2.進入城市詳情頁爬取用戶URL地址信息
• 3.進入用戶詳情頁爬取所須要的用戶信息

爬蟲算法以下

在下篇博客中，會實現一個單機版的爬蟲項目，敬請關注。