使用網絡爬蟲需要知道的準則——robots協議

前言   因爲網絡爬蟲可從服務器爬取各種內容，所以可能存在涉及個人隱私或商業機密的內容，給使用者和服務器管理者帶來不必要的困擾與糾紛，所以需要robots協議來對其進行規範。 正文   有些企業的服務器設置有對特定爬蟲的攔截功能，但並不是所有企業均有能力設置和管理對爬蟲進行攔截的功能，所以robots協議便誕生了。   此協議告知了爬蟲爬取該網站時應遵循的準則，並詳細說明了何種爬蟲禁止爬取何種網頁

>>阅读原文<<