Spark 相關

一、Spark SQL相關 1.spark sql 要比shark 快的幾點: A.內存列存儲,有點像parquet或者orc等列式存儲格式,存儲效率高 B.字節碼生成技術,主要是避免了虛函數的調用,轉變成了scala函數映射,在sql語句執行的時候,具體方法執行(例如 sort中的compare)會調用虛函數,虛函數調用會導致指令集預讀失效,因爲虛函數後面的指令集不是馬上要執行的,導致cpu需要
相關文章
相關標籤/搜索