數據處理相關

一. kafka 處理增量消息

     kafka 原理介紹：http://www.javashuo.com/article/p-tymvshsx-me.html

                                 https://blog.csdn.net/z69183787/article/details/80325743

     很好的一篇文章：http://www.jasongj.com/2015/01/02/Kafka%E6%B7%B1%E5%BA%A6%E8%A7%A3%E6%9E%90/

     使用場景：

•       日誌收集：一個公司能夠用Kafka能夠收集各類服務的log，經過kafka以統一接口服務的方式開放給各類consumer，例如hadoop、Hbase、Solr等。
• 　   消息系統：解耦和生產者和消費者、緩存消息等。
• 　  用戶活動跟蹤：Kafka常常被用來記錄web用戶或者app用戶的各類活動，如瀏覽網頁、搜索、點擊等活動，一般這些活動信息被各個服務器發佈到kafka的            topic中，而後訂閱者經過訂閱這些topic來作實時的監控分析，或者裝載到hadoop、數據倉庫中作離線分析和挖掘。
•       運營指標：Kafka也常常用來記錄運營監控數據。包括收集各類分佈式應用的數據，生產各類操做的集中反饋，好比報警和報告。
•       流式處理：好比spark streaming和storm
•       事件源

 

 

 

 

二. 大數據處理 ： storm    flink

 

三. mongo   

 

四. leveldb 

 

五. redis