[轉]CDH QuickStart VM基本使用

https://blog.csdn.net/wiborgite/article/details/78731944

 https://www.cnblogs.com/harrychinese/p/big_data_platform_quickstart.html

https://www.lookfor404.com/cloudera-quickstart-vm-%E9%9B%86%E6%88%90%E4%BA%86%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%B9%B3%E5%8F%B0%E7%9A%84%E8%99%9A%E6%8B%9F%E6%9C%BA%E9%95%9C%E5%83%8F/

 

CDH 和 Cloudera Manager 是什麼

CDH (Cloudera's Distribution, including Apache Hadoop), 是Cloudera發行的Hadoop發行版, 基於Hadoop穩定版, 並集成了許多補丁, 能夠直接在生產環境中使用.

Cloudera Manager 是 Cloudera 推出的大數據解決方案, 已經在安裝/配置/監控方面作了大量的工做.它不只包含CDH, 並且集成了不少經常使用的組件, 好比 HBASE, Hue, Impala, Kudu, Oozie, Kafka, Sentry, Solr, Spark, YARN, ZooKeeper 等, 它分爲兩個版本Cloudera Express 和 Cloudera Enterprise .
Cloudera Express無償使用, Cloudera Enterprise 須要支付費用. Express版本最高支持50個節點, 並且不限制用到生產環境, Enterprise版包含一些很是高級的功能以及官方支持, 對於普通用戶來說, Express就足夠了. http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_feature_differences.html

我推薦: Cloudera Express版

 

前幾天和朋友聊天，他告訴我有一個cloudera-quickstart，這是一個集成了大部分大數據組件的虛擬機鏡像系統，反正就是–不用配置了，包括hadoop，hbase，hive，hue，spark，zookeeper等等，是cloudera定製的版本，還有cloudera的管理組件。咱們只須要把鏡像下下來，直接在visualbox或者vmvare裏面運行就行。

因而我就本身嘗試了一下vmvare的版本，不過出了問題，主要是內存不足。在這裏也提醒一下想用quickstart-vm的朋友，你得保證你的電腦至少有8g的內存，配置越高越好，否則會很卡。

下面記錄一下本身運行cloudera-quickstart-vm的vmvare版本。

下載地址：http://www.cloudera.com/downloads.html

第一個就是quickstart-vm：

點擊download下載。我下載的是vmvare的版本。PS:下載的時候可能會要求你登錄帳號，註冊一個就好。我獲得的下載連接是：https://downloads.cloudera.com/demo_vm/vmware/cloudera-quickstart-vm-5.5.0-0-vmware.zip

整個zip大小4g多，本地用迅雷下載速度也快不到哪裏去，因而我用百度網盤離線下載，秒下，而後再從百度雲下到本地。

下載完成，解壓。

打開vmvare，點擊菜單欄上的文件–打開，找到剛纔解壓的路徑，就能發現有一個vmx文件，打開它。

打開以後，vmvare是這樣的：

先別急着運行，要先更改虛擬機的配置，你須要把這臺虛擬機設置到至少8g內存（這意味着你的電腦須要至少須要8g內存，沒有的話，會很是很是卡，並且一堆錯誤），處理器設置成至少兩個。

這時候，能夠啓動這臺虛擬機了。啓動以後，它會自動啓動火狐瀏覽器，打開一個初始頁面：

怎麼進入管理界面呢？

運行桌面的cloudera express命令腳本便可。

若是出現如下錯誤，說明你的虛擬機沒有設置到8g內存和兩個處理器，請設置完畢再從新打開這個虛擬機。

想強制啓動的話，能夠在終端運行如下命令：

sudo /home/cloudera/cloudera-manager --express --force

不出意外的話，啓動成功了：

接下來能夠去瀏覽器直接管理了。

打開內置的火狐，輸入網址：http://quickstart.cloudera:7180

登陸帳號：cloudera
登陸密碼：cloudera

登錄以後，就能夠看到管理界面了：

能夠看到，左邊是整合的大數據工具，點擊對應的下拉按鈕，就能夠啓動，關閉，管理這些組件了。

PS：因爲電腦內存過小，因此這個整合了全部單機版大數據工具的系統，我用的並不順手，這裏僅把過程記錄下來，供你們參考。

PPS：仍是乖乖搭環境去了