【Spark】使用DataFrame讀取複雜JSON中的嵌套數組

所周知，在早期Spark版本中就已經支持讀取Json格式的數據文件，並能夠直接轉換爲數據庫表，以方便我們進行處理數據，在本篇文章中我們將介紹如何通過Spark API很簡單地讀取Json數據，並進一步講解，讀取複雜Json中的嵌套數組。 本次使用的各個組件版本設定如下： Spark： 2.1.0 Scala 2.11.8 Hadoop 2.6.2 加載Json數據 我們可以簡單地通過SQLCont

>>阅读原文<<