公司使用chukwa收集每一個服務器數據的,數據收集到的hdfs之後被寫成sequencefile,想用pig處理這些數據,pig自己不支持這種數據結構的,查看chukwa源碼發現,自己有帶有pig腳本,是hicc用來作數據統計的腳本,hicc一直很差使,也懶得搭理這玩意。apache
一、chukwa/script/pig/DF.pig服務器
define chukwaLoader org.apache.hadoop.chukwa.pig.ChukwaLoader();數據結構
源碼在:chukwa/contrib/chukwa-pig下邊oop
自己chkwa支持的pig版本比較老,使用pig腳本加載這個jar包,執行壓根很差使,把代碼放到pig下進行編譯,就能夠直接使用了。
ip