Python爬蟲學習日誌(2)

Python爬蟲學習日誌(2) 1.筆記 視頻課程 各種爬蟲的適用範圍 Robots 協議 http://www.jd.com/robots.txt http://…/robots.txt 網站的根目錄 #註釋,代表所有,/代表根目錄 User-agent: Disallow:/ 類人行爲可不參考 2.重點 網絡爬蟲,「盜」亦有道!
相關文章
相關標籤/搜索