Yarn_基礎

輕量級彈性計算平臺 基於數據密集型應用的計算框架不斷出現,從支持離線處理的MapReduce,到支持在線處理的 Storm,從迭代式計算框架Spark 到流式處理框架S4。在搜索引擎公司中,一種可能的技術方 案如下:網頁建立索引採用MapReduce 框架,自然語言處理/ 數據挖掘採用Spark(如網頁 PageRank 計算、聚類分類算法等),對性能要求很高的數據挖掘算法用MPI 等。考慮到資源
相關文章
相關標籤/搜索