IBM全閃存陣列--FlashSystem（1）

  上個月參加了上海這邊存儲微信羣線下交流，來自HP的產品經理輝哥給你們介紹了HP的存儲產品，會議主要圍繞全閃存陣列。（PS，這裏不得不佩服輝哥的表達能力以及知識圈，對各家產品的優劣勢是如數家珍）。「閃存陣列」這個詞對於我仍是有點陌生，我對它的第一印象是「分層存儲」。這不回來以後惡補下，否則跟不上時代了。

=================================================================

IBM在2012年收購企業級閃存廠商TMS（Texas Memory Systems）後在2013年推出了自家的閃存陣列FlashSystem。在IBM官方網站上（http://www-03.ibm.com/systems/cn/storage/flash/840/index.shtml）對FlashSystem 840的宣傳主要有如下優點：

Flashsystem系列有一下幾種型號，命名規則爲"XX0"，其中"7"表明SLC閃存，"8" 表明eMLC閃存。至於最後的一個V840中的V即，"Integrate with SVC and Easy Tier"，其實就是利用IBM SAN Volume Controller存儲虛擬化設備充當網關，在FlashSystem和傳統磁盤陣列之間進行自動分層存儲。」

以Flashsystem 840，如下兩圖是Front/Rear View，中間亮燈的是Flash module

從Rear view能夠很清楚地看到鏈接主機的四個IO卡，四個Fan module，兩個PSU module及兩個RAID module。

每一個840都有兩個canisters, 每一個canisters都包含了RAID controller, 兩個interface cards,一個 management controller 和 兩個支持熱插拔的Fan modules。以下圖是移掉一個canisters的圖

Flash Module支持1TB,2TB or 4TB，不能混插，部署完成以後不能再加daughter board，支持熱插拔，然而在replace以前，必須用命令power down這個Flash module。

閃存模塊拆開之後，清晰地看到FPGA閃存控制器和NAND閃存芯片。每一個閃存控制器管理20個NAND閃存芯片（正反各10個）。閃存模塊接口採用PCIe接口，使用IBM的私有協議RSI，可以最大限度地發揮閃存的高性能和低延時特性。

GUI界面和Storwize V7000的GUI界面同樣

以上是840的硬件結構，如今咱們來看FlashSystem 840的邏輯架構, 一個840有兩個RAID module（存儲的核心控制器），12個Flash module（相似於盤），每一個Flash module裏有4個Flash controller，一個Flash controller管理20個Flash chips，這樣即一個Flash module管理80個Flash chips。每一個Chip有16個planes。至於Planes，Chips是什麼意思，能夠去讀下這篇文章，講的很是好--http://www.cnblogs.com/heiyue/p/3436349.html。若是還有不理解的能夠去搜索下楊總寫的一篇文章《漫談SSD原理與應用實踐-v0.1.pdf》。

在FlashSystem中，其主要分爲如下幾個邏輯結構：閃存模塊、閃存控制器（Flash Controller）、閃存芯片（Flash Chip）、Plane、Block以及Page（依次從大到小）。下圖爲閃存陣列840的邏輯結構：

IBM FlashSystem 840: Logical Components

下圖是840的內部鏈接圖，在中心區域是兩個高速非阻塞交叉總線，用於傳輸數據流量。還有低速總線用於傳輸管理流量。RAID module和Flash module用非阻塞交叉總線鏈接。Midplane將RAID canisters,flash modules，電池、風扇，PSU這些模塊鏈接起來。兩個RAID module包含了Crossbar controllers，管理模塊，interface controllers，適配器和風扇。兩個RAID canisters組成了一個Cluster，這在設計上沒有單點故障。

IBM FlashSystem 840 architecture

再看看一個單獨Flash module的邏輯結構：

Flash Modules, Logical View

Field programmable-gate array (FPGA)

Low-power IBM PowerPC processors (PPCs)

 

再看看Flash controller的邏輯結構

Flash Controller (Logical Design)

Flash chips    
The flash chip is the basic storage component of the flash module. 每一個Flash module最多有80個企業級eMLC chips，不能混合不一樣Flash技術的chips。

Gateway interface FPGA    
The gateway interface FPGA is responsible for providing I/O to the flash module and direct memory access (DMA) path. It is located on the flash module and has two connections to the
backplane.

Flash controller FPGA    
The flash controller FGPA of the flash module is used to provide access to the flash chips and is responsible for the following functions:  
  -Provides data path and hardware I/O logic    
  -Uses lookup tables and a write buffer    
  -Controls 20 flash chips    
  -Operates independently of other controllers    
  -Maintains write ordering and layout    
  -Provides write setup    
  -Maintains garbage collection    
  -Provides error handling

每一個Flash module最多有4個Flash controllers，Primary board和Expansion board各2個。

FlashSystem 840 Terminology & Capacity Breakdown