Spark、Hadoop、Hive安裝學習

主要是本身對數據挖掘和機器學習感興趣，所以一些大數據相關的前沿技術固然要有所瞭解。這兩天折騰了一下hive、hadoop、spark相關的東西。學會了如何搭建集羣、如何用spark從hive加載數據，或者向hive中寫數據。

仍是在安裝的過程當中，由於你的版本的選擇，操做系統的選擇等，都會有差別，所以安裝的過程當中，問題多多。總之，要能經得起折騰。

一、Hive安裝

http://blog.csdn.net/an342647823/article/details/46048403

二、Hadoop安裝

http://www.itnose.net/detail/6182168.html

三、Spark安裝

http://stark-summer.iteye.com/blog/2173219

http://ju.outofmemory.cn/entry/177769

四、以上環境安裝好以後，還須要配置spark，與hive交互的相關的東西。

  a:將hive-site.xml複製到spark的conf裏面，主要包含這個配置項就行

<property>  

<name>hive.metastore.uris</name>  

<value>thrift://192.168.1.188:9083</value>  

</property>  

b:啓動metastore服務  命令：hive --service metastore