不一樣稀疏矩陣的優缺點和使用經驗

sparse matrix稀疏矩陣不一樣的存儲形式在sparse模塊中對應以下:

bsr_matrix(arg1[, shape, dtype,copy, blocksize]) Block Sparse Row matrix

coo_matrix(arg1[, shape, dtype,copy]) A sparse matrix in COOrdinate format.

csc_matrix(arg1[, shape, dtype,copy]) Compressed Sparse Column matrix

csr_matrix(arg1[, shape, dtype,copy]) Compressed Sparse Row matrix

dia_matrix(arg1[, shape, dtype,copy]) Sparse matrix with DIAgonal storage

dok_matrix(arg1[, shape, dtype,copy]) Dictionary Of Keys based sparse matrix.

lil_matrix(arg1[, shape, dtype,copy]) Row-based linked list sparse matrix

scipy不一樣稀疏矩陣的介紹和優缺點

scipy.sparse庫中提供了多種表示稀疏矩陣的格式，每種格式都有不一樣的用處。同時稀疏矩陣能夠支持加、減、乘、除和冪等算術操做。Sparse matrices can be used in arithmetic operations: they support addition, subtraction, multiplication, division,and matrix power.

分塊壓縮稀疏行格式(BSR)bsr_matrix(arg1, shape=None, dtype=None, copy=False, blocksize=None)Block Sparse Row matrix：

和壓縮稀疏行格式(CSR)很類似，可是BSR更適合於有密集子矩陣的稀疏矩陣，分塊矩陣一般出如今向量值有限的離散元中，在這種情景下，比CSR和CSC算術操做更有效。The Block Compressed Row (BSR) format is very similar to the Compressed Sparse Row (CSR) format. BSR is appropriate for sparse matrices with dense sub matrices. Block matrices often arise in vector-valued finite element discretizations. In such cases, BSR is considerably more efficient than CSR and CSC for many sparse arithmetic operations.

csc_matrix(arg1,shape=None, dtype=None, copy=False)壓縮的列稀疏矩陣CSC ：

高效的CSC +CSC, CSC * CSC算術運算；高效的列切片操做。可是矩陣內積操做沒有CSR, BSR快；行切片操做慢（相比CSR）；稀疏結構的變化代價高（相比LIL 或者 DOK）。

Advantages of the CSC format
•efficient arithmetic operations CSC + CSC, CSC * CSC, etc.
•efficient column slicing
•fast matrix vector products (CSR, BSR may be faster!)
Disadvantages of the CSC format
•slow row slicing operations (consider CSR)
•changes to the sparsity structure are expensive (consider LIL or DOK)

 

csr_matrix(arg1, shape=None, dtype=None, copy=False)Compressed Sparse Row matrix壓縮稀疏行格式(CSR)：

高效的CSR + CSR, CSR *CSR算術運算；高效的行切片操做；高效的矩陣內積內積操做。可是列切片操做慢（相比CSC）；稀疏結構的變化代價高（相比LIL 或者 DOK）。CSR格式在存儲稀疏矩陣時非零元素平均使用的字節數(Bytes per Nonzero Entry)最爲穩定（float類型約爲8.5，double類型約爲12.5）。CSR格式經常使用於讀入數據後進行稀疏矩陣計算。

Advantages of the CSR format
•efficient arithmetic operations CSR + CSR, CSR * CSR, etc.
•efficient row slicing
•fast matrix vector products
Disadvantages of the CSR format
•slow column slicing operations (consider CSC)
•changes to the sparsity structure are expensive (consider LIL or DOK)

coo_matrix(arg1,shape=None,dtype=None,copy=False)座標格式(COO)：

 

座標形式的一種稀疏矩陣。採用三個數組row、col和data保存非零元素的信息。這三個數組的長度相同，row保存元素的行，col保存元素的列，data保存元素的值。

coo_matrix不支持元素的存取和增刪，一旦建立以後，除了將之轉換成其它格式的矩陣，幾乎沒法對其作任何操做和矩陣運算。

Advantages of the COO format
•facilitates fast conversion among sparse formats
•permits duplicate entries (see example)
•very fast conversion to and from CSR/CSC formats

優勢：便利快捷的在不一樣稀疏格式間轉換；容許重複錄入，容許重複的元素；從CSR\CSC格式轉換很是快速。

Disadvantages of the COO format
•does not directly support:
–arithmetic operations
–slicing

缺點：不能直接進行科學計算和切片操做

COO格式經常使用於從文件中進行稀疏矩陣的讀寫，如matrix market即採用COO格式。

最經常使用的函數：

tocsc()	Return a copy of this matrix in Compressed Sparse Column format
tocsr()	Return a copy of this matrix in Compressed Sparse Row format
todense([order, out])	Return a dense matrix representation of this matrix

許多稀疏矩陣的數據都是採用這種格式保存在文件中的，例如某個CSV文件中可能有這樣三列：「用戶ID，商品ID，評價值」。採用numpy.loadtxt或pandas.read_csv將數據讀入以後，能夠經過coo_matrix快速將其轉換成稀疏矩陣：矩陣的每行對應一位用戶，每列對應一件商品，而元素值爲用戶對商品的評價。

dia_matrix(arg1, shape=None, dtype=None, copy=False)Sparse matrix with DIAgonal storage

對角存儲格式(DIA)和ELL格式在進行稀疏矩陣-矢量乘積(sparse matrix-vector products)時效率最高，因此它們是應用迭代法(如共軛梯度法)解稀疏線性系統最快的格式；DIA格式存儲數據的非零元素平均使用的字節數與矩陣類型有較大關係，適合於StructuredMesh結構的稀疏矩陣（float類型約爲4.05，double類型約爲8.10）。對於Unstructured Mesh以及Random Matrix，DIA格式使用的字節數是CSR格式的十幾倍。

dok_matrix(arg1, shape=None, dtype=None, copy=False)Dictionary Of Keys based sparse matrix.

dok_matrix從dict繼承，它採用字典保存矩陣中不爲0的元素：字典的鍵是一個保存元素(行,列)信息的元組，其對應的值爲矩陣中位於(行,列)中的元素值。顯然字典格式的稀疏矩陣很適合單個元素的添加、刪除和存取操做。一般用來逐漸添加非零元素，而後轉換成其它支持快速運算的格式。

基於字典存儲的稀疏矩陣。

This is an efficient structure for constructing sparse matrices incrementally.Allows for efficient O(1) access of individual elements. Duplicates are not allowed. Can be efficiently converted to a coo_matrix once constructed.

lil_matrix(arg1, shape=None, dtype=None, copy=False)Row-based linked list sparse matrix
This is an efficient structure for constructing sparse matrices incrementally.

基於行鏈接存儲的稀疏矩陣。lil_matrix使用兩個列表保存非零元素。data保存每行中的非零元素，rows保存非零元素所在的列。這種格式也很適合逐個添加元素，而且能快速獲取行相關的數據。

Advantages of the LIL format
•supports flexible slicing
•changes to the matrix sparsity structure are efficient
Disadvantages of the LIL format
•arithmetic operations LIL + LIL are slow (consider CSR or CSC)
•slow column slicing (consider CSC)
•slow matrix vector products (consider CSR or CSC)
Intended Usage
•LIL is a convenient format for constructing sparse matrices
•once a matrix has been constructed, convert to CSR or CSC format for fast arithmetic and matrix vector operations
•consider using the COO format when constructing large matrices

Note:{dok_matrix和lil_matrix適合逐漸添加元素}

綜合

2. COO和CSR格式比起DIA和ELL來，更加靈活，易於操做；

3. ELL的優勢是快速，而COO優勢是靈活，兩者結合後的HYB格式是一種不錯的稀疏矩陣表示格式；

4. 根據Nathan Bell的工做：

CSR格式在存儲稀疏矩陣時非零元素平均使用的字節數(Bytes per Nonzero Entry)最爲穩定（float類型約爲8.5，double類型約爲12.5）

而DIA格式存儲數據的非零元素平均使用的字節數與矩陣類型有較大關係，適合於StructuredMesh結構的稀疏矩陣（float類型約爲4.05，double類型約爲8.10）

對於Unstructured Mesh以及Random Matrix,DIA格式使用的字節數是CSR格式的十幾倍；

5. 一些線性代數計算庫：COO格式經常使用於從文件中進行稀疏矩陣的讀寫，如matrix market即採用COO格式，而CSR格式經常使用於讀入數據後進行稀疏矩陣計算