兩個案例帶你理解分佈式的計算思想

咱們先看一下這個需求: 需求1: 將1T文件排序,這個文件的每一行都是一個數字 環境: 一臺服務器 64G內存 看到這個需求,咱們心中第一個想法是將大文件切割成小文件,而後小文件進行內部排序,而後用歸併排序法將小文件合併成爲一個大文件。 這裏介紹一下歸併排序法:web 歸併排序是指將兩個及以上的有序的文件,讀取前n個到內存中 每個存到一個buffer裏,在比較各個buffer中的第一個元素,將小
相關文章
相關標籤/搜索