百萬數據解析-python-oss-python(2-歷史數據)

上傳oss工具安裝 阿里文檔: 實際運行,如下圖: 服務器歷史文件:3000多個  100多G 經過解析後的txt文件: 調用命令上傳文件: oss結果: 新建odps外表及設立分區: 使用數據: 小插曲: 建表時最好用String,因爲可能存在髒數據,odps在轉換成 bigint 或者 decimal的時候可能會報錯。 最後最後,shell腳本開啓並行 python程序飛起來:
相關文章
相關標籤/搜索