學習網頁爬蟲的筆記1

最基本的兩個庫  requests  和  BeautifulSoup，requests主要爲發送請求，BeautifulSoup爲獲取網頁的便籤。遇到問題的是requests的請求。 本想爬某求職網的一些關鍵詞，幫助自己找工作，但無論怎麼都爬不了網站的信息。後來找了很久才找到解決辦法。 在requests.get裏，加入headers = cookie 的內容就行了。 在谷歌瀏覽器F12可以查看

>>阅读原文<<