Spark- 常見問題

記錄spark使用中常見問題apache

SparkSQL

日期解析時用到SimpleDateFormat, SimpleDateFormat是線程不安全的。可使用 FastDateFormat安全

如:spa

import org.apache.commons.lang3.time.FastDateFormat

// 輸入文件日期時間格式
// [10/Nov/2018:00:01:02 +0800]
val YYYYMMDDHHMM_TIME_FORMAT = FastDateFormat.getInstance("dd/MMM/yyyy:HH:mm:ss Z", Locale.ENGLISH)
相關文章
相關標籤/搜索