Spark運行調試方法與學習資源彙總

最近，在學習和使用Spark的過程當中，遇到了一些莫名其妙的錯誤和問題，在逐個解決的過程當中，體會到有必要對解決上述問題的方法進行總結，以便可以在短期內儘快發現問題來源並解決問題，現與各位看官探討學習以下：

解決spark運行調試問題的四把「尖刀」：

一、Log

包括控制檯日誌、主從節點日誌、HDFS日誌等。許多錯誤能夠經過日誌，直接對錯誤類型、錯誤來源進行準肯定位，所以，學會讀取和分析Log是解決問題的第一步。

二、Google

肯定錯誤類型和緣由後，就可使用Google在Spark User List、Google Group等各種Spark學習社區和論壇進行求助，而大部分問題都是能夠找到答案的。

三、官網配置文檔

大部分問題都是配置問題引發的，如何準確配置，須要結合官方說明文檔進行配置，而其中的Tuning Spark內容，也是每一個Spark實踐者必須瞭解和掌握的，推薦精讀：

Tuning Spark(內存調優): http://spark.apache.org/docs/1.0.0/tuning.html

Spark Configuration（基本配置）: http://spark.apache.org/docs/1.0.0/configuration.html

四、官網Example

各個子項目都有對應的Example和源碼，能夠從源碼的src子文件夾裏找到，而在每一個子項目的官網說明上也有相應的代碼示例，也能夠做爲參考。

 

這4個方法是解決問題的第一位要素，特別地，要會經過Log反推錯誤來源，定位故障緣由，而後第一時間想到谷歌，把錯誤關鍵詞粘貼查找尋求解答。而大部分人的問題其實主要都是配置問題，1和2其實就能解決了。3和4主要用來模仿學習，照貓畫虎，學以至用，不成功便成仁。

 

交流和互動也很重要，把握國內Spark研究的前沿，就要善於利用和挖掘各種互聯網資源，這裏，推薦一些博客、微博、QQ學羣供你們參考學習：

知名博主：

徽滬一郎：http://www.cnblogs.com/hseagle/category/569175.html

fxjwind：http://www.cnblogs.com/fxjwind/category/518904.html

張包峯：http://blog.csdn.net/zbf8441372/article/category/1556747

高彥傑：http://blog.csdn.net/gaoyanjie55

saisai_shao：http://jerryshao.me/

 

微博大牛：

hashjoin，Databricks大數據公司創始人之一，UC Berkeley AMPLab：http://weibo.com/hashjoin

Andrew-Xia：http://weibo.com/u/1410938285

CrazyJvm：http://weibo.com/476691290

明風Andy，淘寶技術部，數據挖掘與計算團隊負責人：http://weibo.com/mingfengandy

saisai_shao: http://weibo.com/u/2122584747

連城：http://weibo.com/lianchengzju

張包峯：http://weibo.com/pelickzhang

王聯輝:http://weibo.com/u/1685831233

徽滬一郎：http://weibo.com/eagleonline

 

Spark學習資料

Fast Data Processing with Spark，http://pan.baidu.com/s/1bnnJHlP

Scala學習資料：

快學Scala，http://pan.baidu.com/s/1gdJzElt

Scala Cookbook，http://pan.baidu.com/s/1jGn5zPc

Scala編程，http://pan.baidu.com/s/1pJ0Szgv

Spark論文：

NSDI-2012，http://pan.baidu.com/s/1jGifNMm

[博士論文]Matei Zaharia，http://pan.baidu.com/s/1nt1C2BR

最後，歡迎各位看官可以提供更優質豐富的學習資源，以便你們共同分享提升！