HDFS的讀寫限流方案

我們的集羣有的時候一跑幾個大的任務,就會把機房網絡帶寬瞬間打滿,導致線上部分服務抖動.所以我們就想到了在HDFS對普通讀寫的限流.所以說,本文可以實質上說是一篇總結報告,闡述了方案的設想,實現以及結果.   在hadoop自身內部,就有一些限流操作: 1、Blancer平衡數據限流 2、FsImage鏡像文件上傳下載數據傳輸流 3、VolumeScanner: 磁盤掃描的數據讀操作   一 Dat
相關文章
相關標籤/搜索