大數據-基於Spark的機器學習-智能客戶系統項目實戰

課程大綱:
第1節項目介紹以及在本課程中能學到什麼東西、如何應用到實際項目中
第2節scala和IDE的安裝以及使用以及maven插件的安裝
第3節Centos環境準備（java環境、hosts配置、防火牆關閉）
第4節scala基礎知識講解-1
第5節scala基礎知識講解-函數和閉包-2
第6節scala基礎知識講解-數組和集合-3.1
第7節scala基礎知識講解-數組和集合-3.2
第8節scala基礎知識講解-類和對象-4
第9節scala基礎知識講解-特徵和模式匹配-5
第10節scala基礎知識講解-正則表達式和異常處理-6
第11節scala基礎知識講解-知識回顧
第12節nosql數據庫mongodb安裝
第13節spring data for mongodb-簡單鏈接mongodb
第14節spring data for mongodb-spring配置+CRUD操做(不實現repo，默認操做)
第15節spring data for mongodb-實現repo接口+mongoTemplate+CRUD操做
第16節spring data for mongodb-分頁查詢
第17節zookeeper集羣安裝
第18節zookeeper基本介紹-1
第19節zookeeper工做原理-選舉流程（basic paxos算法）-2
第20節zookeeper工做原理-選舉流程（fast paxos算法）-3
第21節kafka-背景及架構介紹
第22節kafka集羣安裝以及測試
第23節kafka數據發送與接收實現-java
第24節hdfs單機安裝部署
第25節鏈接hdfs查詢存儲-java
第26節機器學習基本線性代數介紹
第27節IKAnalyzer中文分詞工具介紹
第28節IKAnalyzer中文分詞工具結合java應用
第29節Spark以及生態圈介紹
第30節Spark運行架構介紹及原理之job，stage，task
第31節Spark編程模型RDD設計以及運行原理
第32節純手寫第一個Spark應用程序：WordCount
第33節RDD經常使用函數介紹
第34節Spark Sql介紹、DataFrame建立以及使用、RDD DataFrame DataSet相互轉化
第35節Spark Streaming介紹
第36節Spark Streaming+Kafka集成操做
第37節avro結合maven使用,實現序列化和反序列化
第38節Spark ML（機器學習）介紹（監督學習、半監督學習、無監督學習）
第39節特徵抽取：TF-IDF原理介紹
第40節特徵提取：TF-IDF代碼實現計算
第41節聚類算法：KMEANS原理介紹
第42節聚類算法：KMEANS代碼實現計算
第43節其它Spark ML算法簡單介紹
第44節Spark鏈接Mongodb代碼實現
第45節Mesos整體架構介紹
第46節Mesos安裝部署
第47節Spark on Mesos安裝部署
第48節系統總體架構再次介紹+技術串聯介紹（將學習的技術所有整合到項目中）
第49節項目代碼：父類工程，管理各個jar的版本
第50節項目代碼：avro序列化jar，用於客戶端和機器學學習實現序列化和反序列化
第51節項目代碼：kafka發送數據jar，給app調用並實現切詞併發送數據到kafka
第52節項目代碼：工具類jar，實現操做hdfs、切詞以及操做mongodb
第53節項目代碼：操做類jar，調用工具類具體進行切詞以及數據清洗而且存儲到Hdfs
第54節項目代碼：機器學習集合jar，主要用來存放record
第55節項目代碼：機器學習算法jar，主要進行tf-idf以及kmeans計算，主要實現企業上下游、供求上下游模型計算
第56節項目代碼：流式計算jar，主要是接受客戶端發送到kafka的數據加載模型進行計算
第57節項目代碼：測試模擬jar，主要模擬實現用戶加載avro序列化jar寫數據到kafka
第58節Spark on Mesos部署提交參數介紹
第59節Spark代碼提交到Mesos運行（Spark-submit）
第60節項目總體流程跑通，結果展現
第61節Spark調優介紹
第62節基於Spark的機器學習項目-智能客戶系統實戰課程總結
第63節實際工做及面試注意問題

 

下載地址:大數據-基於Spark的機器學習-智能客戶系統項目實戰