使用cookie和session對頁面進行爬取

當我們所需要爬取的數據需要驗證登錄時，則會用到post的請求方式來進行登錄， 比如我們今天爬取開心網界面的信息 使用cookie進行抓取數據 找到對應界面，我們需要找到登錄所需要的關鍵字段的信息，即賬戶和密碼的字段id，name，class（優先級）等 同時因爲我們提交上的信息是在一個表單中，我們還要找到對應的表單中的action 登陸成功以後  我們則需要首頁，或者其他界面的信息 ，就要說使用c

>>阅读原文<<