Python學習之網絡爬蟲(一）Requests庫與Robots協議

前言 大二下學期初在中國慕課網站刷過一遍北京理工大學嵩天老師的Python網絡爬蟲與信息提取，當時看的倉促，沒有認真的做筆記整理。今天對於這門網課的知識點做一個歸納整理，供以後爬蟲參考。 一、「網絡爬蟲」課程內容導學 The website is the API python網絡爬蟲涉及的內容： Requests:自動爬取HTML頁面，自動網絡請求提交 robots.txt：網絡爬蟲排除標準 Be

>>阅读原文<<