Pandas | 26 疏離數據

當任何匹配特定值的數據(NaN/缺失值，儘管能夠選擇任何值)被省略時，稀疏對象被「壓縮」。 一個特殊的SparseIndex對象跟蹤數據被「稀疏」的地方。 這將在一個例子中更有意義。 全部的標準Pandas數據結構都應用了to_sparse方法 -

import pandas as pd
import numpy as np

ts = pd.Series(np.random.randn(10))
ts[2:-2] = np.nan
sts = ts.to_sparse()
print (sts)

輸出結果：

0 -0.391926 1 -1.774880 2 NaN 3 NaN 4 NaN 5 NaN 6 NaN 7 NaN 8 0.642988 9 -0.373698 dtype: float64 BlockIndex Block locations: array([0, 8]) Block lengths: array([2, 2])

 

爲了內存效率的緣由，因此須要稀疏對象的存在。

如今假設有一個大的NA DataFrame並執行下面的代碼 -

import pandas as pd
import numpy as np

df = pd.DataFrame(np.random.randn(10000, 4))
df.ix[:9998] = np.nan
sdf = df.to_sparse()

print (sdf.density)

輸出結果 ：

0.0001

 

經過調用to_dense能夠將任何稀疏對象轉換回標準密集形式 -

import pandas as pd
import numpy as np

ts = pd.Series(np.random.randn(10))
ts[2:-2] = np.nan
sts = ts.to_sparse()
print (sts.to_dense())

輸出結果：

0 -0.275846 1 1.172722 2 NaN 3 NaN 4 NaN 5 NaN 6 NaN 7 NaN 8 -0.612009 9 -1.413996 dtype: float64

 

稀疏Dtypes

稀疏數據應該具備與其密集表示相同的dtype。 目前，支持float64，int64和booldtypes。 取決於原始的dtype，fill_value默認值的更改 -

• float64 − np.nan
• int64 − 0
• bool − False

執行下面的代碼來理解相同的內容 -

import pandas as pd
import numpy as np

s = pd.Series([1, np.nan, np.nan])
print (s)
print ("=============================")
s.to_sparse()
print (s)

輸出結果：

0 1.0 1 NaN 2 NaN dtype: float64 ============================= 0 1.0 1 NaN 2 NaN dtype: float64