sparkSQL1.1入門之九:sparkSQL之調優

      spark是一個快速的內存計算框架;同時是一個並行運算的框架。在計算性能調優的時候,除了要考慮廣爲人知的木桶原理外,還要考慮 平行運算的 Amdahl定理。       木桶原理又稱短板理論,其核心思想是:一隻木桶盛水的多少,並不取決於桶壁上最高的那塊木塊,而是取決於桶壁上最短的那塊。將這個理論應用到系統性能優化上,系統的最終性能取決於系統中性能表現最差的組件。例如,即便系統擁有充足的
相關文章
相關標籤/搜索