天蛛爬蟲學習筆記——盜亦有道

天蛛爬蟲學習筆記——盜亦有道 爬蟲應該遵循網絡協議，有些網站中有Robots協議需要遵守，查看某個網站的Robots協議在對應的URL後加robots.txt，例如：https://www.csdn.net/robots.txt。 User_agent:*，表示對所以的爬蟲用戶 Disallow:/scripts ，表示禁止爬取/根目錄下的 scripts 目錄 User_agent:EtaoSp

>>阅读原文<<