網絡數據採集簡介 001

###1. 網絡數據採集： 網絡數據採集又稱數據挖掘或數據爬取，是一種經過多種手段手機網絡數據的方式，不單單只是經過API交互或與瀏覽器交互的方式。一般的方式是寫一個自動化程序向網絡服務器請求數據（一般是HTML網頁），而後對數據進行解析，提取須要的網頁。 ###2.爲何進行網絡數據採集： 大部分人是經過瀏覽器接觸網頁的，瀏覽器只能讓你一次看到一個頁面，可是網絡數據採集程序--網絡爬蟲能夠讓你一次看到成千上萬個網頁，你能夠從他們中發現很是有趣的事情，你能夠精準的提取本身感興趣的信息，排除網頁搜索引擎的大量無關推薦。 數據能夠經過API獲取，可是沒有一個綜合多個網站的API，有的你感興趣的信息的提供者是不提供API的，這樣咱們就須要本身進行網絡數據採集。 ###2. 網絡數據採集的做用： 採集的數據能夠進行市場預測，從改善生產方式。同時，如今比較火的大數據也須要進行大量數據的支撐，這些數據能夠是一些服務商，可是很大一部分須要進行網絡數據採集。