雜談——處理大量數據時候的一些思考

最近一直在和大數據打交道，今天看了會書，作個筆記。算法 1.訪問所有數據時間過長sql 解決辦法：循環讀取部分數據，進行相應操做。數據庫 2.數據難以放入內存 oop 解決辦法：大數據 ①既然數據難以放入內存，那麼咱們就將數據存儲到磁盤上面，循環地去讀磁盤，這裏要考慮IO複雜性，畢竟訪問外存的效率要比訪問內存的效率低。優化 ②僅基於少數數據去進行計算。固然，這樣獲得的結果的準確率也會受到影響。sp

>>阅读原文<<