可擴充的爬蟲系統（新浪微博爬蟲+QQ空間爬蟲+全景網爬蟲+環球網爬蟲+新聞網爬蟲）（圖片爬蟲系統）

源碼日後博客分享 需求分析： 背景：機器視覺模型的訓練需要大量的圖像數據，而互聯網上充斥着大量的圖像數據，但是並不是所有數據能滿足模型數據，這次我們需要滿足人臉識別模型的要求，也就是需要大量含有人臉的圖像。所以在「嘈雜」的數據環境中，去爬取到符合標準的數據，這也是我們最基本的目標。 由於互聯網上公開圖片的地方很多，但是我們需要的大量的圖片（百萬級上），所以滿足標準的平臺就很有限，我們將目標集中在社

>>阅读原文<<