大數據技能圖譜

下面是 StuQ 發佈的大數據技能圖譜，比較實用，供參考

 

大數據處理框架

Spark
- RDD
- Spark SQL
- Spark Streaming
- MLLib

Hadoop
- HDFS (分佈式文件系統)
- Mapreduce（計算框架）
- Yarn（資源管理平臺）
- Pig（piglatin 語句到 mapreduce 的映射）
- Hive（數據倉庫，提供 SQL）
- Mahout（機器學習算法的 mapreduce 實現庫）

Kafka
Storm
ELK
- ElasticSearch
- Logstash
- Kibana

數據庫

- SQL
- MySQL
- MongoDB
- Cassandra
- Redis
- SQLite
- bsddb
- HBase

編程語言

- Python
- R
- Ruby

數據分析挖掘

- MATLAB
- SPSS
- SAS

數據可視化

- R
- D3.js
- ECharts
- Excle

人工智能

- 聚類
- 時間序列
- 推薦系統
- 迴歸分析
- 文本挖掘
- 決策樹
- 支持向量機
- 貝葉斯分類
- 神經網絡

算法

一致性
- paxos
- raft
- gossip

數據結構
- 棧，隊列，鏈表
- 散列表
- 二叉樹，紅黑樹，B樹
- 圖

經常使用算法
- 排序（插入排序、桶排序、堆排序、快速排序）
- 最大子數組
- 最長公共子序列
- 最小生成樹
- 最短路徑
- 矩陣的存儲和運算

雲計算

- 雲服務（SaaS、PaaS、IaaS）
- Openstack
- Docker