Python3爬蟲之一

介紹：幾乎每一個網站都有一個名爲robot.txt文檔，對於沒有設定robot.txt文檔 的網站可以通過網絡爬蟲獲取沒有口令加密的數據（即該網頁的數據都可以爬取），對於有robot.txt文檔的網站就要去判斷是否有禁止訪客獲取的數據。 出現上面的代碼時，表示除前面指定的爬蟲外，不允許其他爬蟲取任何數據。 如：https://www.taobao.com/robot.txt 爬蟲原理： （1）網頁

>>阅读原文<<