python 爬蟲入門案例----爬取某站上海租房圖片

前言

　　對於一個net開發這爬蟲真真的之前沒有寫過。這段時間開始學習python爬蟲，今天週末無聊寫了一段代碼爬取上海租房圖片，其實很簡短就是利用爬蟲的第三方庫Requests與BeautifulSoup。python 版本：python3.6 ,IDE ：pycharm。其實就幾行代碼，但但願沒有開發基礎的人也能一會兒看明白，因此大神請繞行。

第三方庫

首先安裝

　　我是用的pycharm因此另爲的腳本安裝我這就不介紹了。

　　如上圖打開默認設置選擇Project Interprecter，雙擊pip或者點擊加號，搜索要安裝的第三方庫。其中若是創建的項目多記得Project Interprecter要選擇正確的安裝位置否則沒法導入。

Requests庫

　　requests庫的官方定義：Requests 惟一的一個非轉基因的 Python HTTP 庫，人類能夠安全享用。其實他就是請求網絡獲取網頁數據的。

import requests
header={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
res=requests.get('http://sh.58.com/zufang/',headers=header)
try:
    print(res.text);
except  ConnectionError:
    print('訪問被拒絕！！！')

　　結果以下：

　　其中Request Headers的參數以下：

#headers的一些屬性：
#Accept:指定客戶端可以接收的內容類型，內容類型的前後次序表示客戶都接收的前後次序
#Accept-Lanuage:指定HTTP客戶端瀏覽器用來展現返回信息優先選擇的語言
#Accept-Encoding指定客戶端瀏覽器能夠支持的web服務器返回內容壓縮編碼類型。表示容許服務器在將輸出內容發送到客戶端之前進行壓縮，以節約帶寬。而這裏設置的就是客戶端瀏覽器所可以支持的返回壓縮格式。
#Accept-Charset:HTTP客戶端瀏覽器能夠接受的字符編碼集
# User-Agent : 有些服務器或 Proxy 會經過該值來判斷是不是瀏覽器發出的請求
# Content-Type : 在使用 REST 接口時，服務器會檢查該值，用來肯定 HTTP Body 中的內容該怎樣解析。
# application/xml ： 在 XML RPC，如 RESTful/SOAP 調用時使用
# application/json ： 在 JSON RPC 調用時使用
# application/x-www-form-urlencoded ： 瀏覽器提交 Web 表單時使用
# 在使用服務器提供的 RESTful 或 SOAP 服務時， Content-Type 設置錯誤會致使服務器拒絕服務

BeautifulSoup庫

 　　BeautifulSoup能夠輕鬆的解析Requests庫請求的頁面，並把頁面源代碼解析爲Soup文檔，一邊過濾提取數據。這是bs4.2的文檔。

Beautiful Soup支持Python標準庫中的HTML解析器,還支持一些第三方的解析器，若是咱們不安裝它，則 Python 會使用 Python默認的解析器，其中lxml 聽說是相對而言比較強大的我下面的暗示是python 標準庫的。

選擇器select

# 選擇全部div標籤
soup.select("div")
# 選擇全部p標籤中的第三個標籤
soup.select("p:nth-of-type(3)")
至關於soup.select(p)[2]
# 選擇div標籤下的全部img標籤
soup.select("div img")
# 選擇div標籤下的直接a子標籤
soup.select("div > a")
# 選擇id=link1後的全部兄弟節點標籤
soup.select("#link1 ~ .mybro")
# 選擇id=link1後的下一個兄弟節點標籤
soup.select("#link1 + .mybro")
# 選擇a標籤，其類屬性爲className的標籤
soup.select("a .className")
# 選擇a標籤，其id屬性爲idName的標籤
soup.select("a #idName")
# 選擇a標籤，其屬性中存在attrName的全部標籤
soup.select("a[attrName]")
# 選擇a標籤，其屬性href=http://wangyanling.com的全部標籤
soup.select("a[href='http://wangyanling.com']")
# 選擇a標籤，其href屬性以http開頭
soup.select('a[href^="http"]')
# 選擇a標籤，其href屬性以lacie結尾
soup.select('a[href$="lacie"]')
# 選擇a標籤，其href屬性包含.com
soup.select('a[href*=".com"]')
# 從html中排除某標籤，此時soup中再也不有script標籤
[s.extract() for s in soup('script')]
# 若是想排除多個呢
[s.extract() for s in soup(['script','fram']

BeautifulSoup庫須要學習的知識點，請參考bs4.2的文檔。在這再也不過多敘述。

import requests
from bs4 import BeautifulSoup
header={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
res=requests.get('http://cd.58.com/zufang/',headers=header)
soup=BeautifulSoup(res.text,'html.parser')
print(soup.prettify())

案例：爬取上海租房圖片

import requests
import urllib.request
import os
import time
from bs4 import BeautifulSoup
header={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36'}
url=['http://sh.58.com/zufang/pn{}/?ClickID=2'.format(number) for number in range(6,51)]#分頁抓取
adminCout=6
for arurl in url:
    adminCout=adminCout+1
    res=requests.get(arurl,headers=header)
    soup=BeautifulSoup(res.text,'html.parser')
    arryImg=soup.select('.img_list img')
    print(arryImg)
    count = 0;
    for img in arryImg:
        print(img['lazy_src'])
        _url = img['lazy_src']
        pathName = "E:\\2333\\" + str(adminCout)+"_"+str(count) + ".jpg"  # 設置路徑和文件名
        result = urllib.request.urlopen(_url)  # 打開連接，和python2.x不一樣請注意了
        data = result.read()  # 不然開始下載到本地
        with open(pathName, "wb") as code:
            code.write(data)
            code.close()
            count = count + 1  # 計數+1
            print("正在下載第：", count)
        time.sleep(30)

 

只是實現功能，至於代碼結果以下：

結語：

　　對於python並不是爲了從net跳出來，學習python只是感興趣，可是經過這段時間的學習確實有些思想從net的思路中跳了出來，接下來一年的業餘時間應該都會花在學習python上，還但願本身能堅持下去。這應該是2017年最後一篇文章，在這給你們拜個早年。