採集大衆點評、美團等數據進行大數據挖掘

當你有了一隻美麗的爬蟲後你能夠作不少有意思的事情，好比爬蟲爬到了不少餐飲數據後就能夠作餐飲地區活躍度分析了，這些分析指標是頗有意義的，特別是對準備開店的人。
首先要將數據從大衆點評、美團或其餘網站數據採集下來，方式能夠從美食產品入口，而後找到餐飲公司信息，而後找到地址，地區等信息。採集的時候要作好防重策略，這樣能夠節省不少時間，還有就是不要併發太大，以避免影響正常的業務。將採集到的數據寫入數據庫，以備後用。
有了這些數據就能夠對餐飲公司的分佈作統計分析了，能很容易統計出某個城市餐飲公司的地區分佈狀況，固然你能夠找一個好看的數據顯示圖表進行展現。
只作這些就過於簡單了，若是獲得餐飲分佈的變化狀況呢，爬蟲另外一個技能，增量採集，這個須要後臺進行定時作數據的增量採集，所謂的變化就是在時間軸移動過程當中，Y軸的變更狀況，有了增量數據，這個也很容易了。
另外一個須要關注的是哪些餐飲公司比較活躍，生意比較好，一次類推哪些分類的生意比較好，從另外一個角度上來講就是這個地區的人更喜歡那些餐飲類型，甚至於不一樣的季節餐飲喜愛的變化等等。
在這上面有不少事情能夠作，有點意思。

轉載請註明出處 數薈集（專業數據提供） http://www.shuhuiji.com/detail.jsp?id=9