python爬蟲簡單版

關於爬蟲的合法性 關於爬蟲的合法性幾乎每個網站都有一個名爲 robots.txt 的文檔，固然也有部分網站沒有設定 robots.txt。對於沒有設定 robots.txt 的網站能夠經過網絡爬蟲獲取沒有口令加密的數據，也就是該網站全部頁面數據均可以爬取。若是網站有 robots.txt 文檔，就要判斷是否有禁止訪客獲取的數據。html 以淘寶網爲例，在瀏覽器中訪問 https://www.tao

>>阅读原文<<