黑馬大數據分析課程---一、大數據分析介紹

黑馬大數據分析課程---一、大數據分析介紹

1、總結

一句話總結：

大數據爲機器學習、人工智能等提供了數據依據

 

一、數據清洗包括哪些方面？

去掉髒數據

使數據格式化

 

二、數據挖掘是什麼？

高級的數據分析方法：數據挖掘是一種高級的數據分析方法，側重解決四類數據分析問題：分類、聚類、關聯和預測

尋找有價值信息：數據分析和數據挖掘的本質是同樣的，都是從數據裏面發現關於業務的知識。

 

三、經常使用的分佈式方案有哪些？

分佈式應用和服務：【將應用和服務進行分層和切割】，而後分別部署：好比分佈式服務框架 Dubbo

分佈式靜態資源：【靜態資源】：好比CDN

分佈式數據和存儲：【單臺計算機內存空間不足】：好比Apache Hadoop HDFFS

分佈式計算：【計算】：好比Apache Hadoop MapReduce

 

四、分佈式和集羣的區別？

分佈式：多臺不一樣的服務器，【部署不一樣的服務模塊】

集羣：多臺不一樣的服務器，【部署相同的應用或服務模塊】

 

五、facebook是社交網站，那麼評估機構評估facebook的時候，主要評估的是其哪方面的價值？

是其社交網絡上的數據

 

六、雲計算是什麼？

硬件資源虛擬化

 

七、數據分析是什麼？

發掘數據中的價值，發掘數據中的規律

 

八、如何採集用戶瀏覽網站的數據？

js埋點：用js對用戶的行爲(好比點擊啊，跳轉啊)進行採集，不影響用戶的正常操做，

存儲的話能夠用Nginx的自定義數據格式

 

九、採集到的用戶的瀏覽數據，如何跨域發送到後臺？

讓數據假裝成圖片：【好比京東就是這樣乾的】：/log.gif?a=111&b=222

返回數據的時候，假裝成一個1*1像素的gif圖片

 

十、如何結合 Google Analytic 搭建一個自定義日誌採集系統？

前端：肯定要採集的數據，以及採集的頁面，以及埋點的js

後端：收集、設計、編寫數據

 

十一、採集的用戶的訪問數據例子及注意事項有哪些？

好比用戶ip，用戶所在的位置，用戶訪問時間，用戶的url等的

服務器參數獲取：有些可以經過服務器直接獲取到：好比用戶的訪問時間，ip等

js獲取：有些不能經過服務器獲取到：能夠考慮js，cookie等等，就是想辦法拿全用戶的數據

 

 

 

 

2、內容在總結中