tez是什麼?

【Apache Tez是什麼?】html

  http://dongxicheng.org/mapreduce-nextgen/apache-tez/sql

淺談Apache Tez中的優化技術

  http://dongxicheng.org/mapreduce-nextgen/apache-tez-optimizations/apache

Apache Tez最新進展

   http://dongxicheng.org/mapreduce-nextgen/apache-tez-newest-progress/框架

MapReduce和Tez對比oop

http://www.cnblogs.com/linn/p/5325147.htmlpost

安裝tez優化

http://blog.csdn.net/fighting_one_piece/article/details/54646124url

 

簡單的來講tez是支持DAG的計算框架,用來替代MapReduce的。而MapReduce是基於yarn的,那麼tez也是。hadoop2.7.x以上支持tezspa

  它直接源於MapReduce框架,核心思想是將Map和Reduce兩個操做進一步拆分,即Map被拆分紅Input、Processor、 Sort、Merge和Output, Reduce被拆分紅Input、Shuffle、Sort、Merge、Processor和Output等,這樣,這些分解後的元操做能夠任意靈活組 合,產生新的操做,這些操做通過一些控制程序組裝後,可造成一個大的DAG做業。.net

什麼DAG?舉例來講,spark的RDD通過一系列計算,RDD1-->A計算-->RDD2-->-B計算->RDD3....,這些RDD計算過程描繪成的圖就是DAG,用來描述任務的計算過程,那麼DAG與MapReduce又有什麼關係,咱們知道對於一條簡單的sql語句,可能會產生多個MapReduce任務。而tez就會將多個MapReduce任務描述成一個DAG,提交一次任務,那麼天然效率就會提升,並且多個MapReduce任務必然涉及屢次IO讀寫。

什麼是LLAP?

關於ambari中的LLAP?

   參考官方文檔 https://docs.hortonworks.com/

相關文章
相關標籤/搜索