【原創】Linux PCI驅動框架分析（一）

背景

• Read the fucking source code! --By 魯迅
• A picture is worth a thousand words. --By 高爾基

說明：

1. Kernel版本：4.14
2. ARM64處理器
3. 使用工具：Source Insight 3.5， Visio

1. 概述

從本文開始，將會針對PCIe專題來展開，涉及的內容包括：

1. PCI/PCIe總線硬件；
2. Linux PCI驅動核心框架；
3. Linux PCI Host控制器驅動；

不排除會包含PCIe外設驅動模塊，一切隨緣。

 
做爲專題的第一篇，固然會先從硬件總線入手。
進入主題前，先講點背景知識。
在PC時代，隨着處理器的發展，經歷了幾代I/O總線的發展，解決的問題都是CPU主頻提高與外部設備訪問速度的問題：

1. 第一代總線包含ISA、EISA、VESA和Micro Channel等；
2. 第二代總線包含PCI、AGP、PCI-X等；
3. 第三代總線包含PCIe、mPCIe、m.2等；

PCIe（PCI Express）是目前PC和嵌入式系統中最經常使用的高速總線，PCIe在PCI的基礎上發展而來，在軟件上PCIe與PCI是後向兼容的，PCI的系統軟件能夠用在PCIe系統中。

 
本文會分兩部分展開，先介紹PCI總線，而後再介紹PCIe總線，方便在理解上的過渡，開始旅程吧。

2. PCI Local Bus

2.1 PCI總線組成

• PCI總線（Peripheral Component Interconnect，外部設備互聯），由Intel公司提出，其主要功能是鏈接外部設備；
• PCI Local Bus，PCI局部總線，局部總線技術是PC體系結構發展的一次變革，是在ISA總線和CPU總線之間增長的一級總線或管理層，可將一些高速外設，如圖形卡、硬盤控制器等從ISA總線上卸下，而經過局部總線直接掛接在CPU總線上，使之與高速CPU總線相匹配。PCI總線，指的就是PCI Local Bus。

先來看一下PCI Local Bus的系統架構圖：

從圖中看，與PCI總線相關的模塊包括：

1. Host Bridge，好比PC中常見的North Bridge（北橋）；
   圖中處理器、Cache、內存子系統經過Host Bridge鏈接到PCI上，Host Bridge管理PCI總線域，是聯繫處理器和PCI設備的橋樑，完成處理器與PCI設備間的數據交換。其中數據交換，包含處理器訪問PCI設備的地址空間和PCI設備使用DMA機制訪問主存儲器，在PCI設備用DMA訪問存儲器時，會存在Cache一致性問題，這個也是Host Bridge設計時須要考慮的；
   此外，Host Bridge還可選的支持仲裁機制，熱插拔等；

2. PCI Local Bus；
   PCI總線，由Host Bridge或者PCI-to-PCI Bridge管理，用來鏈接各種設備，好比聲卡、網卡、IDE接口等。能夠經過PCI-to-PCI Bridge來擴展PCI總線，並構成多級總線的總線樹，好比圖中的PCI Local Bus #0和PCI Local Bus #1兩條PCI總線就構成一顆總線樹，同屬一個總線域；

3. PCI-To-PCI Bridge；
   PCI橋，用於擴展PCI總線，使採用PCI總線進行大規模系統互聯成爲可能，管理下游總線，並轉發上下游總線之間的事務；

4. PCI Device；
   PCI總線中有三類設備：PCI從設備，PCI主設備，橋設備。
   PCI從設備：被動接收來自Host Bridge或者其餘PCI設備的讀寫請求；
   PCI主設備：能夠經過總線仲裁得到PCI總線的使用權，主動向其餘PCI設備或主存儲器發起讀寫請求；
   橋設備：管理下游的PCI總線，並轉發上下游總線之間的總線事務，包括PCI橋、PCI-to-ISA橋、PCI-to-Cardbus橋等。

2.2 PCI總線信號定義

PCI總線是一條共享總線，能夠掛接多個PCI設備，PCI設備經過一系列信號與PCI總線相連，包括：地址/數據信號、接口控制信號、仲裁信號、中斷信號等。以下圖：

• 左側紅色框裏表示的是PCI總線必需的信號，而右側藍色框裏表示的是可選的信號；
• AD[31:00]：地址與數據信號複用，在傳送時第一個時鐘週期傳送地址，下一個時鐘週期傳送數據；
• C/BE[3:0]#：PCI總線命令與字節使能信號複用，在地址週期中表示的是PCI總線命令，在數據週期中用於字節選擇，能夠進行單字節、字、雙字訪問；
• PAR：奇偶校驗信號，確保AD[31:00]和C/BE[3:0]#傳遞的正確性；
• Interface Control：接口控制信號，主要做用是保證數據的正常傳遞，並根據PCI主從設備的狀態，暫停、終止或者正常完成總線事務：
  • FRAME#：表示PCI總線事務的開始與結束；
  • IRDY#：信號由PCI主設備驅動，信號有效時表示PCI主設備數據已經ready；
  • TRDY#：信號由目標設備驅動，信號有效時表示目標設備數據已經ready；
  • STOP#：目標設備請求主設備中止當前總線事務；
  • DEVSEL#：PCI總線的目標設備已經準備好；
  • IDSEL：PCI總線在配置讀寫總線事務時，使用該信號選擇PCI目標設備；
• Arbitration：仲裁信號，由REQ#和GNT#組成，與PCI總線的仲裁器直接相連，只有PCI主設備須要使用該組信號，每條PCI總線上都有一個總線仲裁器；
• Error Reporting：錯誤信號，包括PERR#奇偶校驗錯誤和SERR系統錯誤；
• System：系統信號，包括時鐘信號和復位信號；

看一下C/BE[3:0]都有哪些命令吧：

2.3 PCI事務模型

PCI使用三種模型用於數據的傳輸：

1. Programmed I/O：經過IO讀寫訪問PCI設備空間；
2. DMA：PIO的方式比較低效，DMA的方式能夠直接去訪問主存儲器而無需CPU干預，效率更高；
3. Peer-to-peer：兩臺PCI設備之間直接傳送數據；

2.4 PCI總線地址空間映射

PCI體系架構支持三種地址空間：

1. memory空間：
   針對32bit尋址，支持4G的地址空間，針對64bit尋址，支持16EB的地址空間；

2. I/O空間
   PCI最大支持4G的IO空間，但受限於x86處理器的IO空間（16bits帶寬），不少平臺將PCI的IO地址空間限定在64KB；

3. 配置空間
   x86 CPU能夠直接訪問memory空間和I/O空間，而配置空間則不能直接訪問；
   每一個PCI功能最多能夠有256字節的配置空間；
   PCI總線在進行配置的時候，採用ID譯碼方式，使用設備的ID號，包括Bus Number，Device Number，Function Number和Register Number，每一個系統支持256條總線，每條總線支持32個設備，每一個設備支持8個功能，因爲每一個功能最多有256字節的配置空間，所以總的配置空間大小爲：256B * 8 * 32 * 256 = 16M；

   有必要再進一步介紹一下配置空間：
   x86 CPU沒法直接訪問配置空間，經過IO映射的數據端口和地址端口間接訪問PCI的配置空間，其中地址端口映射到0CF8h - 0CFBh，數據端口映射到0CFCh - 0CFFh；
   

   • 圖爲配置地址寄存器構成，PCI的配置過程分爲兩步：
     1. CPU寫CF8h端口，其中寫的內容如圖所示，BUS，Device，Function能標識出特定的設備功能，Doubleword來指定配置空間的具體某個寄存器；
     2. CPU能夠IO讀寫CFCh端口，用於讀取步驟1中的指定寄存器內容，或者寫入指定寄存器內容。這個過程有點相似於經過I2C去配置外接芯片；

   那具體的配置空間寄存器都是什麼樣的呢？每一個功能256Byte，前邊64Byte是Header，剩餘的192Byte支持可選功能。有種類型的PCI功能：Bridge和Device，二者的Header都不同。

   • Bridge
     

   • Device
     

配置空間中有個寄存器字段須要說明一下：Base Address Register，也就是BAR空間，當PCI設備的配置空間被初始化後，該設備在PCI總線上就會擁有一個獨立的PCI總線地址空間，這個空間就是BAR空間，BAR空間能夠存放IO地址空間，也能夠存放存儲器地址空間。

 

• PCI總線取得了很大的成功，但隨着CPU的主頻不斷提升，PCI總線的帶寬也捉襟見肘。此外，它自己存在一些架構上的缺陷，面臨一系列挑戰，包括帶寬、流量控制、數據傳送質量等；
• PCIe應運而生，能有效解決這些問題，因此PCIe纔是咱們的主角；

3. PCI Express

3.1 PCIe體系結構

先看一下PCIe架構的組成圖：

• Root Complex：CPU和PCIe總線之間的接口可能會包含幾個模塊（處理器接口、DRAM接口等），甚至可能還會包含芯片，這個集合就稱爲Root Complex，它做爲PCIe架構的根，表明CPU與系統其它部分進行交互。廣義來講，Root Complex能夠認爲是CPU和PCIe拓撲之間的接口，Root Complex會將CPU的request轉換成PCIe的4種不一樣的請求（Configuration、Memory、I/O、Message）；
• Switch：從圖中能夠看出，Swtich提供扇出能力，讓更多的PCIe設備鏈接在PCIe端口上；
• Bridge：橋接設備，用於去鏈接其餘的總線，好比PCI總線或PCI-X總線，甚至另外的PCIe總線；
• PCIe Endpoint：PCIe設備；
• 圖中白色的小方塊表明Downstream端口，灰色的小方塊表明Upstream端口；

前文提到過，PCIe在軟件上保持了後向兼容性，那麼在PCIe的設計上，須要考慮在PCI總線上的軟件視角，好比Root Complex的實現可能就以下圖所示，從而看起來與PCI總線相差無異：

• Root Complex一般會實現一個內部總線結構和多個橋，從而扇出到多個端口上；
• Root Complex的內部實現不須要遵循標準，所以都是廠家specific的；

而Switch的實現可能以下圖所示：

• Switch就是一個擴展設備，因此看起來像是各類橋的鏈接路由；

3.2 PCIe數據傳輸

• 與PCI總線不一樣（PCI設備共享總線），PCIe總線使用端到端的鏈接方式，互爲接收端和發送端，全雙工，基於數據包的傳輸；
• 物理底層採用差分信號（PCI鏈路採用並行總線，而PCIe鏈路採用串行總線），一條Lane中有兩組差分信號，共四根信號線，而PCIe Link能夠由多條Lane組成，能夠支持一、二、四、八、十二、1六、32條；

PCIe規範定義了分層的架構設計，包含三層：

1. Transaction層

   • 負責TLP包（Transaction Layer Packet）的封裝與解封裝，此外還負責QoS，流控、排序等功能；

2. Data Link層

   • 負責DLLP包（Data Link Layer Packet）的封裝與解封裝，此外還負責連接錯誤檢測和校訂，使用Ack/Nak協議來確保傳輸可靠；

3. Physical層

   • 負責Ordered-Set包的封裝與解封裝，物理層處理TLPs、DLLPs、Ordered-Set三種類型的包傳輸；

數據包的封裝與解封裝，與網絡包的建立與解析很相似，以下圖：

• 封裝的時候，在Payload數據前添加各類包頭，解析時是一個逆向的過程；

來一個更詳細的PCIe分層圖：

3.3 PCIe設備的配置空間

爲了兼容PCI軟件，PCIe保留了256Byte的配置空間，以下圖：

此外，在這個基礎上將配置空間擴展到了4KB，還進行了功能的擴展，好比Capability、Power Management、MSI中斷等：

• 擴展後的區域將使用MMIO的方式進行訪問；

草草收場吧，對PCI和PCIe有一些輪廓上的認知了，能夠開始Source Code的軟件分析了，欲知詳情、下回分解！

參考

《PCI Express Technology 3.0》
《pci local bus specification revision 3.0》
《PCIe體系結構導讀》
《PCI Express系統體系結構標準教材》

歡迎關注我的公衆號，不按期分享Linux內核相關技術文章：