CPU緩存和內存屏障

CPU性能優化手段-緩存

爲了提升程序運行的性能，現代CPU在不少方面對程序進行了優化。
例如：CPU高速緩存。儘量地避免處理器訪問主內存的時間開銷，處理器大多會利用緩存(cache)以提升性能。

多級緩存

L1 Cache(一級緩存)是CPU第一層高速緩存，分爲數據緩存和指令緩存。通常服務器CPU的L1緩存的容量一般在32-4096KB。

L2因爲L1級高速緩存容量的限制，爲了再次提升CPU的運算速度，在CPU外部放置-高速存儲器，即二級緩存。

L3如今的都是內置的。而它的實際做用便是，L3緩存的應用能夠進一步下降內存延遲，同時提高大數據量計算時處理器的性能。具備較大L3緩存的處理器提供更有效的文件系統緩存行爲及較短消息和處理器隊列長度。通常是多核共享一個L3緩存！

CPU在讀取數據時，先在L1中尋找，再從L2尋找，再從L3尋找，而後是內存，再後是外存儲器。

緩存同步協議

多CPU讀取一樣的數據進行緩存，進行不一樣運算以後，最終寫入主內存以哪一個CPU爲準？

在這種高速緩存回寫的場景下，有一個緩存一致性協議多數CPU廠商對它進行了實現。

MESI協議，它規定每條緩存有個狀態位，同時定義了下面四個狀態：

• 修改態(Modified)-此cache行已被修改過(髒行),內容已不一樣於主存，爲此cache專有；
• 專有態(Exclusive)-此cache行內容同於主存，但不出現於其它cache中；
• 共享態(Shared)-此cache行內容同於主存，但也出現於其它cache中；
• 無效態(Invalid)-此cache行內容無效(空行)。

多處理器，單個CPU對緩存中數據進行了改動，須要通知給其它CPU。也就是意味着，CPU處理要控制本身的讀寫操做，還要監聽其餘CPU發出的通知，從而保證最終一致。

CPU性能優化手段-運行時指令重排

指令重排的場景：當CPU寫緩存時發現緩存區塊正被其餘CPU佔用，爲了提升CPU處理性能，可能將後面的讀緩存命令優先執行。

並不是隨便重排，須要遵照as-if-serial語義

as-if-serial語義的意思指：無論怎麼重排序(編譯器和處理器爲了提升並行度)，(單線程）程序的執行結果不能被改變。編譯器，runtime和處理器都必須遵照as-if-serial語義。也就是說：編譯器和處理器不會對存在數據依賴關係的操做作重排序。

兩個問題

一、CPU高速緩存下有一個問題：

緩存中數據與主內存的數據並非實時同步的，各CPU(或CPU核心)間緩存的數據也不是實時同步。

在同一個時間點，各CPU所看到同一內存地址的數據的值多是不一致的。

二、CPU執行指令重排序優化下有一個問題：

雖然遵照了as-if-serial語義，單僅在單CPU本身執行的狀況下能保證結果正確。多核多線程中，指令邏輯沒法分辨因果關聯，可能出現亂序執行，致使程序運行結果錯誤。

內存屏障

處理器提供了兩個內存屏障指令(Memory Barrier)用於解決上述兩個問題：

寫內存屏障(Store Memory Barrier):在指令後插入Store Barrier,能讓寫入緩存中的最新數據更新寫入主內存，讓其餘線程可見。強制寫入主內存，這種顯示調用，CPU就不會由於性能考慮而去對指令重排。

讀內存屏障(Load Memory Barrier):在指令前插入Load Barrier,可讓高速緩存中的數據失效，強制從主內存加載數據。強制讀取主內存內容，讓CPU緩存與主內存保持一致，避免了緩存致使的一致性問題。