Python Scrapy Selenium整合：啓動瀏覽器並登錄

某些網站要求用戶必須先登陸，而後才能獲取網絡數據，這樣爬蟲程序將沒法隨意爬取數據。 爲了登陸該網站，一般有兩種作法：html 直接用爬蟲程序向網站的登陸處理程序提交請求，將用戶名、密碼、驗證碼等做爲請求參數，登陸成功後記錄登陸後的 Cookie 數據。 使用真正的瀏覽器來模擬登陸，而後記錄瀏覽器登陸以後的 Cookie 數據。 上面兩種方式的目的是同樣的，都是爲了登陸目標網站，記錄登陸後的 Coo

>>阅读原文<<