這裏還要注意：無論你是爲了Python就業仍是興趣愛好，記住：項目開發經驗永遠是核心，若是你沒有2020最新python入門到高級實戰視頻教程，能夠去小編的Python交流.裙 ：七衣衣九七七巴而五（數字的諧音）轉換下能夠找到了，裏面不少新python教程項目，還能夠跟老司機交流討教！python
來到今天的重點，我今天發現一個網站很好爬的，很是適合新手，我沒有設置請求頭什麼的爬了不少遍很沒有封我ip和給我返回403之類的，因此他對咱們第一次玩爬蟲的人來講很友好。這個網站就是今日頭條。最重要的是這裏面有不少美女圖片，咱們能夠把它們爬下來！！！是否是想一想都要流鼻血啊？web
文章首發於公衆號「平常學python」正則表達式
咱們今天要爬的就是他的圖集，先看看網站。搜索美女，而後點擊圖集，能夠看到下面這些內容json
咱們要作的就是把上面的圖片給爬下來。網絡
那開始分析網站。按下f12，而後點擊network，刷新下你能夠看到這些python爬蟲
進行尋找哪一個請求返回這些圖片的，在網頁上能夠看到圖片會隨着你下拉網頁而進行顯示更多的圖片，這是動態加載的，因此能夠輕鬆知道這個能夠在xhr文件中找到，果真，你看學習
不斷往下拉，不斷地發送請求，點擊這個請求看看是返回什麼數據網站
能夠看到這是個json，裏面有圖片的url，這個就是咱們要找的東西，那咱們能夠用json庫來解析，還有這個網站是get請求，這樣就能夠用requests庫來發送而後解析下就能夠了，很是簡單。url
那麼分析就到這裏，直接上代碼spa
import requests, os
path_a = os.path.abspath('.')
kw = ''
while True:
kw = input('請輸入你要獲取的圖片(若想結束請輸入1)')
if kw == '1':
print('已退出，你下載的圖片已保存在'+path_a+',請查看！')
break
for x in range(0, 1000, 20):
url = 'https://www.toutiao.com/search_content/?offset='+str(x)+'&format=json&keyword=%s&autoload=true&count=20&cur_tab=3&from=gallery' % kw
response = requests.get(url)
data = response.json()['data']
if not data:
print('下載'+kw+'圖片完畢，請換個關鍵詞繼續')
break
n = 1 # 記錄文章數
for atlas in data:
# 建立目錄
title = atlas['title']
print(atlas)
try:
if title not in os.listdir('.'): # 防止文件名已經存在
os.mkdir(title)
except OSError as e:
print('文件名出錯，建立目錄失敗，從新建立一個隨機名字')
title = kw + '文件名出錯'+str(x)
if title not in os.listdir('.'):
os.mkdir(title)
k = 1 # 記錄下載的圖片數
path = os.path.join(path_a, title)
# 轉進圖片目錄
os.chdir(path)
for image in atlas['image_list']: # 這個連接獲取的圖片是小張的，看着不夠爽，因此下面替換成大的圖片
image_url = image['url'].replace('list', 'large') # 改個連接獲取大的圖片
atlas = requests.get('http:'+image_url).content
with open(str(k)+'.jpg', 'wb') as f: # 把圖片寫入文件內
f.write(atlas)
print('下載完第%d個文章的%d幅圖完成' % (x+n, k))
k += 1
n += 1
# 轉出圖片目錄
os.chdir(path_a)
複製代碼
這個只用了requests庫基本就能完成了，os庫是用來操做文件目錄的，這裏就不詳細說了。能夠看到，代碼量很是少，除開註釋就大概四十行吧，是否是比其餘語言簡潔多了？是否是requests庫很好用？這裏能夠充分體現了人生苦短，我用python的真理。
並且，他還可換關鍵字繼續搜，你想搜什麼照片均可以。
下篇文章寫個requests庫和正則來爬內容的文章，讓大家感覺下正則的強大！
最後給大家看下結果
我要去買養分快線了。這裏還要注意：無論你是爲了Python就業仍是興趣愛好，記住：項目開發經驗永遠是核心，若是你沒有2020最新python入門到高級實戰視頻教程，能夠去小編的Python交流.裙 ：七衣衣九七七巴而五（數字的諧音）轉換下能夠找到了，裏面不少新python教程項目，還能夠跟老司機交流討教！
本文的文字及圖片來源於網絡加上本身的想法,僅供學習、交流使用,不具備任何商業用途,版權歸原做者全部,若有問題請及時聯繫咱們以做處理。