AWS S3 vs谷歌雲 vs Azure:雲存儲性能的比較

我正在建立一個新的可以迅速處理大量科學數據的雲產品。迄今爲止我們最大的客戶數據集大約有3000個表,平均每個40到80MB,總計150GB。我們的目標是在10秒或更少的時間之內處理它們。每個表都可以被獨立處理,因此我們着重並行化,即部署使用了1000個或更多的vCPU。棘手的部分是如何快速閱讀那麼多的數據到內存中。現在大約80%的計算時間是花在讀取數據上的,這就導出了將要連載的三篇文章的重點是:雲
相關文章
相關標籤/搜索