基於spark logicplan的表血緣關係解析實現

      隨着公司平臺用戶數量與表數量的不斷增多，各類表之間的數據流向也變得更加複雜，特別是某個任務中會對源表讀取並進行一系列複雜的變換後又生成新的數據表，所以須要一套表血緣關係解析機制能清晰地解析出每一個任務所造成的表血緣關係鏈。java       實現思路:python       spark對sql的操做會造成一個dataframe，dataframe中的logicplan包含了sql的

>>阅读原文<<