大數據學習資源整理

github地址 後面繼續更新在github

• utils4s
  • scala語法學習
  • common庫
  • BigData庫
    • Spark
      • Spark core
      • Spark Streaming
      • Spark SQL
      • Spark 機器學習
      • Spark 其它
    • ES
  • 貢獻代碼步驟
  • 貢獻者

utils4s包含各類scala通用、好玩的工具庫demo和使用文檔，經過簡單的代碼演示和操做文檔，各類庫信手拈來。

同時歡迎你們貢獻各類好玩的、常用的工具庫。

開源中國地址

QQ交流羣 432290475

微博：jacksu_

<h2 id="id2">scala語法學習</h2>

說明：scala語法學習過程當中，用例代碼都放在scala-demo模塊下。

快學scala電子書(推薦入門級書)

scala理解的比較深

scala99問題

scala初學者指南(這可不是初學者能夠理解的歐，仍是寫過一些程序後再看)

scala初學者指南英文版

scala學習用例

<h2 id="id21">common庫</h2>

日誌操做（log4s）

單元測試（scalatest）

日期操做（lama）（注:只支持日期操做，不支持時間操做）

日期時間操做（nscala-time）（注：沒有每個月多少天，每個月最後一天，以及每一年多少天）

json解析（json4s）

resources下文件加載用例

文件操做（better-files）

單位換算（squants）

線性代數和向量計算(breeze)

分佈式並行實現庫akka(akka)

Twitter工具庫（twitter util）

平常腳本工具

<h2 id="id22">BigData庫</h2>

<h3 id="id221">Spark</h3>

<h4 id="id2211">Spark core</h4> [一個不錯的spark學習互動課程](http://www.hubwiz.com/class/5449c691e564e50960f1b7a9)

spark 設計與實現

<h4 id="id2212">Spark Streaming</h4>

Spark Streaming使用Kafka保證數據零丟失

spark streaming測試用例

spark streaming源碼解析

基於spark streaming的聚合分析(Sparkta)

<h4 id="id2213">Spark SQL</h4>

spark DataFrame測試用例

Hive Json加載

SparkSQL架構設計和代碼分析

<h4 id="id2213">Spark 機器學習</h4>

spark機器學習源碼解析

KeyStoneML KeystoneML is a software framework, written in Scala, from the UC Berkeley AMPLab designed to simplify the construction of large scale, end-to-end, machine learning pipelines with Apache Spark.

spark TS

<h4 id="id2214">Spark 其它</h4>

databricks spark知識庫

spark學習知識總結

Spark library for doing exploratory data analysis in a scalable way

圖處理(cassovary)

基於spark進行地理位置分析(gagellan)

<h3 id="id222">ES</h3>

ES 非阻塞scala客戶端

<h2 id="id23">貢獻代碼步驟</h2> 1. 首先 fork 個人項目 2. 把 fork 過去的項目也就是你的項目 clone 到你的本地 3. 運行 git remote add jacksu git@github.com:jacksu/utils4s.git 把個人庫添加爲遠端庫 4. 運行 git pull jacksu master 拉取併合併到本地 5. coding 6. commit後push到本身的庫( git push origin master ) 7. 登錄Github在你首頁能夠看到一個 pull request 按鈕,點擊它,填寫一些說明信息,而後提交便可。 1~3是初始化操做,執行一次便可。在coding前必須執行第4步同步個人庫(這樣避免衝突),而後執行5~7既可。