網絡爬蟲初探

產生背景： 在大數據時代，信息的採集是一項重要的工作，而互聯網中的數據是海量的，如果單純靠人力進行信息採集，不僅低效繁瑣，蒐集的成本也會提高。如何自動高效地獲取互聯網中我們感興趣的信息併爲我們所用是一個重要的問題，而爬蟲技術就是爲了解決這些問題而生的。 定義 網絡爬蟲（Web crawler）也叫做網絡機器人，可以代替人們自動地在互聯網中進行數據信息的採集與整理。它是一種按照一定的規則，自動地抓取

>>阅读原文<<