Spark DataSource API V2

Spark 1.3 引入了初版的數據源 API，咱們可使用它將常見的數據格式整合到 Spark SQL 中。可是，隨着 Spark 的不斷髮展，這一 API 也體現出了其侷限性，故而 Spark 團隊不得不加入愈來愈多的專有代碼來編寫數據源，以得到更好的性能。Spark 2.3 中，新一版的數據源 API 初見雛形，它克服了上一版 API 的種種問題，原來的數據源代碼也在逐步重寫。本文將演示這兩版

>>阅读原文<<