requests + BeautifulSoup + urllib 爬取並下載網站圖片到本地（一）

這一篇主要寫使用 requests + BeautifulSoup + urllib 下載圖片保存到本地，下一篇寫下載整站詳情頁的圖片保存到本地（敬請期待）

爬取網絡上的數據其實很簡單，只要掌握基本邏輯就行了。

1. 找到網站；
2. 分析所需數據的 HTML 節點；
3. 把數據下載到本地或者存儲到數據庫

那好，廢話很少說，開始吧！

---

準備工做

• 開發環境：Windows，Pycharm，Request，BeautifulSoup，urllib
• 須要必定的 Python 爬蟲、HTML 基礎

開始動身

• 明確目標 本次要爬取的網站是 帥啊 網 （點開看一下，有驚喜哦~[壞笑].png） 咱們須要把網站第一頁全部 item 的圖片下載到本地

• 製做爬蟲

  1. 因爲獲取下來的 html 編碼格式不對，因此要指定編碼格式爲 utf-8
  2. 獲取頁面中每一個 item 的圖片標籤
  3. 循環獲取標籤的圖片連接（src）和圖片名（alt）
  4. 下載圖片到本地

from bs4 import BeautifulSoup
import requests
import os
import urllib.request
import time

headers = {
    "Cookie": "UM_distinctid=16685e0279d3e0-06f34603dfa898-36664c08-1fa400-16685e0279e133; bdshare_firstime=1539844405694; gsScrollPos-1702681410=; CNZZDATA1254092508=1744643453-1539842703-%7C1539929860; _d_id=0ba0365838c8f6569af46a1e638d05",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36",
}
path = "D://images/"

def get_links(url):
    wb_data = requests.get(url, headers=headers)  # 加入 headers，避免被網站的反爬機制認爲是蜘蛛
    wb_data.encoding = "utf-8"
    soup = BeautifulSoup(wb_data.text, 'lxml')

    links = soup.select(".item-img img")
    if not os.path.exists(path):  # 判斷該文件夾是否存在，不存在則建立
        os.mkdir(path)
    for link in links:
        time.sleep(1)  # 暫停一秒，避免訪問過快被反爬機制認爲是蜘蛛
        img = link.get("src")
        img_name = link.get("alt")
        urllib.request.urlretrieve(img, path + img_name + ".jpg")
        print("-------- downloading ---------")

    print("------ download done -------")

if __name__ == "__main__":

    get_links("http://www.shuaia.net/index.html")
複製代碼

• 開始爬取