2020-02-27

1.網絡爬蟲的分類： （1）小規模，數據量小，爬取速度不敏感，用於爬取網頁----使用Requests庫實現（2）中規模，數據量大，爬取速度敏感，用於爬取網站----使用Scipy庫（專門爬取網站）（3）大規模搜索引擎，爬取全網，爬取速度敏感，用於爬取全網----使用的庫一般定製開發，不可使用第三方庫2.網絡爬蟲的騷擾：（1）網絡爬蟲會爲web服務器帶來巨大的資源開銷（2）服務器上的數據有產權歸屬

>>阅读原文<<