Hadoop平臺的map-reduce

數據處理 (1)raw data——>data cleaning——>feature 考慮:內存, 完成時間 例子word count (2)利用map-reduce思想完成大數據操作和處理 單臺服務器內存不足,搭建服務器集羣 map-reduce集羣: (1)在多節點上冗餘存儲數據,以空間換穩定 (2)將計算(op/script)移向數據端(HDFS),以減少大數據(data)移動 (3)簡單程
相關文章
相關標籤/搜索