#037學習Python爬蟲爬取博客園做業

#037學習Python爬蟲爬取博客園做業

爬蟲 python 程序設計 2019/5/7

1. 爬取做業提交信息
2. 須要爬取的內容
3. 爬取過程
   1. 第一步找html源碼
   2. 第二步找json文件
   3. 第三步直接開爬
4. json解析
   4. 目前先學習到這裏留到下節課，繼續學習
   5. 在這裏應該感謝下，馬孟林老學長，能直接從他的博客裏，找到課堂配套的博客

今日學習內容（只列出關鍵詞）

python函數

1. 傳參調用
2. 實參，形參
3. 元組
4. 打包拆包 ....

python文件使用

• 大象裝進冰箱分三步

  1. open（）
  2. write（）
  3. close（）

• 複習爬蟲

• json文件存儲數據

爬取做業提交信息

引用信息
Python語言程序設計2018秋學期助教馬孟林同窗的博客

須要爬取的內容

做業鏈接

爬取過程

第一步找html源碼

爬取以後咱們發現html中沒有任何須要的信息

經過老師課堂上的講解數據可能放置在json文件中

JSON(JavaScript Object Notation, JS 對象簡譜) 是一種輕量級的數據交換格式。它基於 ECMAScript
(歐洲計算機協會制定的js規範)的一個子集，採用徹底獨立於編程語言的文本格式來存儲和表示數據。簡潔和清晰的層次結構使得 JSON
成爲理想的數據交換語言。 易於人閱讀和編寫，同時也易於機器解析和生成，並有效地提高網絡傳輸效率。

 

孟林馬學長是這麼找出來的

 

第二步找json文件

F12打開火狐或者谷歌的調試工具
找到network的XHR從新刷新就能找到請求的json文件

有三個文件，通常藏在最大的文件裏實在不行一個一個試試也能夠
找到請求頭就知道數據存放文件地址了

直接訪問該地址就能拿到數據信息了

知道文件在哪裏了按照前幾節課所講解的爬取html的方法便可爬到數據並保存在本地文件中

第三步直接開爬

代碼以下不作過多解釋

import requests
url = 'https://edu.cnblogs.com/Homework/GetAnswers?homeworkId=3103&_=1557235742010'
try:
    r = requests.get(url,timeout=20)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
except:
    print('網絡異常或頁面未找到，請重試')
f=open('homework.txt','w')
f.write(r.text)
f.close()

 

效果以下

 

json解析

目前先學習到這裏留到下節課，繼續學習

在這裏應該感謝下，馬孟林老學長，能直接從他的博客裏，找到課堂配套的博客