震驚!不需hadoop環境運行scala和pyspark程序

Databricks官方是這樣描述Databricks優點的:html

        像Databricks這樣的雲平臺提供了一套集成的、主機託管的解決方案,消除了企業採用Spark和確保大數據項目成功所面臨的這三大障礙。咱們爲你提供了全面管理和調優的Spark集羣,開發Spark的一羣專家在大力支持。咱們的平臺爲你提供了一種互動式工做區域,以便探查、可視化、合做和發佈。若是你已準備好進入生產環境,只要點擊一下鼠標便可啓動任務。咱們會自動搭建基礎設施。python

        另外,咱們還提供了一組豐富的API,以便經過編程訪問該平臺,這還讓用戶可以無縫整合第三方應用程序。linux

我們平民玩家想練習scala,pyspark,苦於電腦配置不行,沒安裝hadoop環境,公司沒環境用,等痛點。sql

不要緊,能夠免費申請Databricks 空間,而且運行scala代碼是不須要*大大×××*的哈。編程

只是註冊帳號的時候須要一個gmail郵箱就ok了。微信

註冊網址以下ide

https://community.cloud.databricks.com/login.htmloop

image.png

選擇社區版。測試

進入後,姓名,公司名 abc隨便寫寫。
大數據

注意:這裏有個註冊驗證碼可能須要*大大×××*的哈~

    這個你要是找筆者要,我只能這樣回你了 --- :

image.png

帳號搞定後,開始建立scala或者python腳本(pyspark):

Create Notebook:

能夠建立scala,python,sql,R 四種notebook 用來運行spark程序。

image.png

如圖,很貼心的給了免費集羣(6G內存,spark2.4,scala2.11)這樣咱們能夠方便的在雲端體驗

spark了。對使用筆記本電腦 和電腦配置低的用戶是比較推崇的。

並且在裏面建立的notebook 能夠導出&&導入, 小夥伴們 遇到語法問題(各類疑難雜症),導出notebook,

微信羣請教 筆者 samir 和羣主大大均可以哈!

ä½ è¦æ¯å è¿ä¸ªï¼æå¯ä¸å°äºåï¼èä¼å¨å¾è¡¨æåï¼

下面測試2個簡單的scala 語句:

1. 經常使用if-else 控制語句

2. scala調用linux 命令wget下載文件,ls,pwd等命令。


image.png1

image.png


打完收工,此次的分享就到這裏了。

附上官方操做手冊:

https://docs.databricks.com/getting-started/index.html

再貼上我們的 scala& spark 微信羣二維碼 :


歡迎交流~

相關文章
相關標籤/搜索