python爬蟲入門(三) webdriver

上面提到用requests的缺點是, 他只是個很簡單的request-response工具. 遇到頁面複雜的網站, 就必須對一個頁面加載開始到結束幹了什麼有一些瞭解, 然後找出正真的url. 還得僞造一些headers信息. 如果是複雜的爬蟲(不止是爬一個頁面, 而是涉及網站登錄, 多個組合動作). requests就很麻煩了. 那就用webdriver吧.         你會像見鬼一樣看到程序

>>阅读原文<<