網絡爬蟲做業

第一部分:

 
請分析做業頁面,爬取已提交做業信息,並生成已提交做業名單,保存爲英文逗號分隔的csv文件。文件名爲:hwlist.csv 。
 
文件內容範例以下形式:
 
學號,姓名,做業標題,做業提交時間,做業URL
20194010101,張三,羊車門做業,2018-11-13 23:47:36.8, http://www.cnblogs.com/sninius/p/12345678.html
20194010102,李四,羊車門,2018-11-14 9:38:27.03, http://www.cnblogs.com/sninius/p/87654321.html
 
*注1:如製做按期爬去做業爬蟲,請注意爬取頻次不易太過密集;
*注2:本部分做業用到部分庫以下所示:
(1)requests —— 第3方庫
(2)json    —— 內置庫
 如下爲源代碼:
import requests
import json
try:
    fh=requests.get('https://edu.cnblogs.com/Homework/GetAnswers?homeworkId=2420&_=1544191154088')
    fh.raise_for_status()
    fh.encoding='utf-8'
    results=json.loads(fh.text)['data']
except:
    print("網絡鏈接失敗")
else:
    if fh.status_code==200:
        gxk=''
        for i in results:
            gxk+=str(i["StudentNo"])+","+i["RealName"]+","+i["DateAdded"].replace("T"," ")+","+i["Title"]+","+i["Url"]+"\n"
        with open ('hwlist.csv','w') as f:
            f.write(gxk)
    else:
        print("404")

 
 

  結果:html

相關文章
相關標籤/搜索
本站公眾號
   歡迎關注本站公眾號,獲取更多信息