Python網絡爬蟲

• Python 3開發網絡爬蟲(一)
• Python 3開發網絡爬蟲(二)
• Python3網絡爬蟲(三): 假裝瀏覽器
• Python3網絡爬蟲(四): 登陸

爬蟲能夠用各類語言寫, C++, Java均可以, 爲何要Python? 首先用C++搞網絡開發的例子很少(多是我見得太少), 而後因爲Oracle收購了Sun, Java目前雖然在Android開發上很重要, 可是若是Google官司進展不順利, 那麼頗有可能用Go語言替代掉Java來作Android開發. 在這計算機速度高速增加的年代裏, 選語言都要看他爹的業績, 真是稍不注意就落後於時代. 隨着計算機速度的高速發展, 某種語言開發的軟件運行的時間複雜度的常數係數已經不像之前那麼重要, 咱們能夠愈來愈偏心爲程序員打造的而不是爲計算機打造的語言. 好比Ruby這種傳說中的純種而又飄逸的的OOP語言, 或者Python這種稍嚴謹而流行庫又很是多的語言, 都大大弱化了針對計算機運行速度而打造的特性, 強化了爲程序員容易思考而打造的特性. 因此我選擇Python來寫網絡來寫 Python網絡爬蟲。

選擇Python版本

有2和3兩個版本, 3比較新, 據說改動大. 根據我在知乎上搜集的觀點來看, 我仍是傾向於使用」在趨勢中將會愈來愈火」的版本, 而非」目前已經很穩定並且很成熟」的版本. 這是我的喜愛, 並且預測不必定準確. 可是若是Python3沒法像Python2那麼火, 那麼整個Python語言就不可避免的隨着時間的推移愈來愈落後, 所以我想其實選哪一個的最壞風險都同樣, 可是最好回報倒是Python3的大. 其實二者區別也能夠說大也能夠說不大, 最終都不是什麼大問題. 我選擇的是Python 3.