Golang爬蟲 爬取汽車之家 二手車產品庫

原文地址：爬取汽車之家 二手車產品庫
項目地址：https://github.com/go-crawler...

目標

最近常常有人在耳邊提起汽車之家，也好奇二手車在國內的價格是怎麼樣的，所以本次的目標站點是 汽車之家 的二手車產品庫

分析目標源：

• 一頁共24條
• 含分頁，但這個老產品庫，在100頁後會存在問題，所以咱們爬取99頁
• 能夠獲取所有城市
• 共可爬取 19w+ 數據

開始

爬取步驟

• 獲取所有的城市
• 拼裝所有城市URL入隊列
• 解析二手車頁面結構
• 下一頁URL入隊列
• 循環拉取全部分頁的二手車數據
• 循環拉取隊列中城市的二手車數據
• 等待，肯定隊列中無新的 URL
• 爬取的二手車數據入庫

獲取城市

經過頁面查看，可發如今城市篩選區可獲得所有的二手車城市列表，可是你仔細查閱代碼。會發現它是JS加載進來的，城市也統一放在了一個變量中

有兩種提取方法

• 分析JS變量，提取出來
• 直接將 areaJson 複製出來做爲變量解析

在這裏咱們直接將其複製粘貼出來便可，由於這是比較少變更的值

獲取分頁

經過分析頁面能夠得知分頁連接是有必定規律的，例如：/2sc/hangzhou/a0_0msdgscncgpi1ltocsp2exb4/，能夠發現 sp%d，sp 後面爲頁碼

按照常理，能夠經過預測全部分頁連接，推入隊列後 go routine 一波 便可快速拉取

可是在這老產品庫存在一個問題，在超過 100 頁後，下一頁永遠是 101 頁

所以咱們採起比較傳統的作法，經過拉取下一頁的連接去訪問，以便適應可能的分頁連接改變； 100 頁之後的分頁展現也很奇怪，先忽視

獲取二手車數據

頁面結構較爲固定，常規的清洗 HTML 便可

func GetCars(doc *goquery.Document) (cars []QcCar) {
    cityName := GetCityName(doc)
    doc.Find(".piclist ul li:not(.line)").Each(func(i int, selection *goquery.Selection) {
        title := selection.Find(".title a").Text()
        price := selection.Find(".detail .detail-r").Find(".colf8").Text()
        kilometer := selection.Find(".detail .detail-l").Find("p").Eq(0).Text()
        year := selection.Find(".detail .detail-l").Find("p").Eq(1).Text()

        kilometer = strings.Join(compileNumber.FindAllString(kilometer, -1), "")
        year = strings.Join(compileNumber.FindAllString(strings.TrimSpace(year), -1), "")
        priceS, _ := strconv.ParseFloat(price, 64)
        kilometerS, _ := strconv.ParseFloat(kilometer, 64)
        yearS, _ := strconv.Atoi(year)

        cars = append(cars, QcCar{
            CityName: cityName,
            Title: title,
            Price: priceS,
            Kilometer: kilometerS,
            Year: yearS,
        })
    })

    return cars
}

數據

在各城市的平均價格對比中，咱們能夠發現北上廣深裏的北京、上海、深圳都在榜單上，而近年勢頭較猛的杭州直接佔領了榜首，且後幾名都有一些距離

而其餘城市大體都是梯級降低的趨勢，看來一線城市的二手車也是不便宜了，固然這只是均價

咱們能夠看到價格和千米數的對比，上海、成都、鄭州的等比差別是有點大，感受有需求的話能夠在價格和千米數上作一個衡量

這圖有點兒有趣，粗略的統計了一下總千米數。在前幾張圖裏，平均價格排名較高的通通沒有出如今這裏，反卻是呼和浩特、大慶、中山等出如今了榜首

是否側面反應了一線城市的車輛更新換代較快，而較後的城市的車輛卻是換代較慢，千米數基本都槓槓的

經過對標題的分析，能夠得知車輛產品庫的命名基本都是品牌名稱+自動/手動+XXXX款+屬性，看標題就能知道個概況了

參考

爬蟲項目地址

• https://github.com/go-crawler...