關於多源統一數據接入的思考

統一數據接入 數據接入就是對於不一樣的數據來源、不一樣的合做夥伴，完成數據採集、數據傳輸、數據處理、數據緩存到行業統一的數據平臺的過程。 java 大數據接入處理面臨的問題 數據接入的三個階段 前期 非結構化數據----（word，excel，圖片，pdf，掃描件，視頻） 1.文本文件----(txt，csv)----utf-8 （踩過的坑-gbk編碼和數據中換行符觸發spark2.2 加載文件的

>>阅读原文<<