用Python寫網絡爬蟲－學習總結

一.關於爬蟲的一些零散知識javascript １．Robots協議html 大多數網站的主頁下會有robots.txt文件，標識了爬蟲爬取該網站信息時，哪些資源是有限制的，可使用Python的標準庫robotparser來檢測將要爬取的url連接是否被容許：java # coding=utf-8 import robotparser # 實例話一個Robots協議檢測對象 rp = robot

>>阅读原文<<