網絡爬蟲設計中需要注意的幾個問題

做網絡爬蟲是件很有意義的事情。首先，它可以是一個專門的職業。從公司層面講，業務和戰略可能都需要很多數據進行多維度分析，所以現在很多公司都有專門的爬蟲工程師負責設計數據採集系統；其次，很多公司以爬蟲爲生，爬蟲就是他們用來賺取利潤的最主要手段，比如說各大搜索引擎和最近比較流行的即刻 APP；最後，爬蟲也可以成爲程序員業餘時間賺取外快的好玩具，很多社羣找程序員兼職爬取目標數據；最不濟，它還可以成爲一個好

>>阅读原文<<