R語言學習之大數據處理

把數據存儲在內存以外

有幾種包能夠實如今內存以外存儲數據。解決之道是把數據保存在外部數據庫或者硬盤裏的二進制文件中,而後在須要的時候部分地讀取。下表描述了幾種有用的包: 數據庫

描述
ff 提供了一種數據結構,保存在硬盤中,可是操做起來就如同在內存中同樣
bigmemory 支持大規模矩陣的建立、儲存、讀取和操做。矩陣被分配到共享內存或內存映射的文件中(memory-mapped files)
filehash 實現了簡單的key-value數據庫,在其中特徵字符串key與存儲在硬盤中的數據value相關聯。
ncdf, ncdf4 Provides an interface to Unidata netCDF data files.
RODBC, RMySQL,
ROracle, 
RPostgreSQL,
RSQLite
能夠用這些包讀取外部關係數據庫管理系統的數據

上面的包能夠幫助客服R的內存限制。除此之外,當須要在有限時間內分析大數據集時,使用專門方法也是必須的。一些有用的方法將在下面介紹。 數據結構

相關文章
相關標籤/搜索