大數據平臺數據服務框架

1. 概述介紹

大數據平臺數據服務框架。實現了Kafka實時數據過濾、清洗、轉換、消費，實現了Spark SQL對Redis、MongoDB等非關係型數據庫的數據的讀寫。

爲何推薦這個框架？

基於大數據平臺的數據處理服務框架。
結合大數據項目實際使用場景，提取出的一些通用的功能，造成大數據平臺數據處理框架。
目前主要實現的功能有：
一、參數信息配置模塊，可實現採用數據庫進行配置和Properties文件進行配置
二、集成Kafka，實現了Kafka的生產者和消費者相關的功能
三、集成MongoDB，實現了MongoDB的數據讀取、寫入等，實現了SparkSQL經過DataFrame與MongoDB的數據進行交互，而且實現了分頁讀取、流式讀取等特殊讀取方式
四、集成Redis，實現了Redis的讀取、寫入等，實現了SparkSQL經過DataFrame與Redis的數據進行交互
五、SparkStreaming流式處理Kafka、MongoDB的數據
六、手動記錄Kafka的偏移量，實現了基於數據庫進行記錄和基於Zookeeper進行記錄

1. 源碼下載

源碼下載地址，複製下載便可

https://gitee.com/hy-wux/DataService-Framework.git

1. 掃碼關注

（公衆號）

(微信)

1. 免責聲明

【寫做說明】以上內容分享給喜歡編程，有夢想的程序員，但願能幫助到大家。以上文章屬於此公衆號原創全部，如需轉載請註明出處。

【免責申明】本公衆平臺不是廣告商，也沒有爲其餘三方網站或者我的作廣告宣傳。此分享的源代碼和文章是小編在項目中、學習中整理的一些認爲不錯的項目。用戶產生的一些自願下載或者付費行爲。與平臺沒有直接關係

【投稿郵箱】315997972@qq.com

 歡迎投稿分享你的優質源碼或文章