大數據實戰之千萬量級小說網站項目開發（存儲、複雜搜索、推薦、分析）

大數據實戰之千萬量級小說網站項目開發（存儲、複雜搜索、推薦、分析）

隨着時代的發展，小說已經成爲了許許多多的人減壓放鬆的目的，一部小說可以被人看到須要通過許許多多的代碼和程序的編輯，從小說的存儲、熱度、排行、分類再到搜索，基於用戶以往看過的小說進行的推薦，以及做者更新章節後的實時更新，小說後臺對於每本書的熱度、喜愛程度進行權重的更新，這些都是在小說背後實實在在須要解決的問題。

本次課程就是針對百萬小說數據的推薦、熱度、內容等進行搜索、推薦、分析的項目.讓你們在真實數據的實戰中真真正正的掌握大數據存儲、搜索及推薦等內容。

1、小說網站架構講解
1.本項目的背景及目標
2.項目的架構設計
3.項目的架構選型
4.組件的安裝

2、千萬小說數據索引及存儲
1.網站數據詳解
2.mysql數據遷移到es
3.logstash配置編寫
4.logstash數據遷移
5.小說存儲及rowkey設計
6.小說導入javaBean類編寫
7.小說數據遷移mr編寫
8.數據導入rowkey代碼編寫
9.mr driver部分編寫
10.數據遷移至hbase

3、網站複雜搜索功能實現
1.網站原始代碼簡介
2.網站搜索功能實現
3.網站添加搜索功能
4.搜索頁面結果查看
5.小說搜索分詞講解
6.mapping分詞器的添加分詞功能
7.代碼添加IK分詞器
8.小說網站高亮搜索實現
9.拼音搜索功能實現
10.拼音搜索代碼修改
11.從es獲取小說詳情頁
12.收藏自增功能實現
13.es的樂觀鎖
14.小說章節數據遷移
15.小說章節查詢功能實現
16.章節詳情頁搜索
17.網站最近更新小說功能實現
18.網站做品分類聚合展現功能
19.小說月週日熱度榜
20.連載、完結top榜單
21.top10做家榜
22.新增做品功能實現

4、小說網站推薦引擎
1.推薦系統概述
2.推薦算法介紹
3.基於內容的推薦
4.基於協同過濾的推薦
5.基於關聯規則的推薦

5、網站分析相關
1.小說網站用戶數據分析
2.es集羣規劃講解
3.es集羣監控
4.Hbase監控
5.項目總結