爬蟲第1周——Robots協議

爬取網頁的規模： 小規模，數據量小，爬取速度不敏感——Requests庫 中規模，數據規模較大，爬取速度敏感——Scrapy庫 大規模，搜索引擎，爬取速度關鍵—— 定製開發 網絡爬蟲引發的問題： 性能騷擾、 法律風險、隱私泄露

>>阅读原文<<