2016年總結及2017年計劃

工做了兩年多了，一直沒寫過總結。我想，是該寫寫總結了，看看最近的收穫和教訓。

　　我從事大數據開發，是始於2015年，接觸的技術也比較有限，從MapReduce開始學起，到HDFS和Hadoop shell命令，到Spark、Hive、Hbase，Sqoop，也算基本入門了，期間還部署了Hadoop集羣，（因爲只是測試Hadoop集羣部署，後面這個集羣撤了），用Sqoop、MapReduce和Spark作了一個大數據項目，在2015年末正式上線了，目前運行正常。

　　到了2016年，又作了幾個項目。具體的項目有推薦平臺，用戶畫像，實時推薦系統。在作個過程當中，使用了不少新技術，Hadoop、Spark、Hive、Sqoop、Hbase、Flume、Kafka、Redis、MemCache、Parquet、Avro等。

　　在平臺建設方面，我研究了Hue平臺管理工具、Ooozie這個任務調度工具。

 

2017年計劃

0、複習Java的基礎語法、併發編程等。《Java編程思想》、《Java與設計模式》、《深刻理解Java虛擬機》、《Java併發編程實戰》

一、再看幾回Scala語法：《快學Scala》

二、總結Spark，寫幾篇總結文章

三、閱讀Hadoop和Spark源碼

四、繼續學習研究應用大數據相關技術，Hadoop、Hbase、Hive、Kafka、Flume等

四、複習《微積分》、《機率論與數理統計》、《線性代數》

五、掌握機器學習主要的幾個算法的思想、推導過程和代碼。