AWS S3 vs谷歌雲 vs Azure:雲存儲性能的比較

我正在創建一個新的能夠迅速處理大量科學數據的雲產品。迄今爲止咱們最大的客戶數據集大約有3000個表,平均每一個40到80MB,總計150GB。咱們的目標是在10秒或更少的時間以內處理它們。每一個表均可以被獨立處理,所以咱們着重並行化,即部署使用了1000個或更多的vCPU。棘手的部分是如何快速閱讀那麼多的數據到內存中。如今大約80%的計算時間是花在讀取數據上的,這就導出了將要連載的三篇文章的重點是
相關文章
相關標籤/搜索