python讀取幾千萬行的大表內存問題

Python導數據的時候,須要在一個大表上讀取很大的結果集。 若是用傳統的方法,Python的內存會爆掉,傳統的讀取方式默認在內存裏緩存下全部行而後再處理,內存容易溢出 解決的方法: 1)使用SSCursor(流式遊標),避免客戶端佔用大量內存。(這個cursor實際上沒有緩存下來任何數據,它不會讀取全部全部到內存中,它的作法是從儲存塊中讀取記錄,而且一條一條返回給你。) 2)使用迭代器而不用fe
相關文章
相關標籤/搜索