JMM簡介
Java Memory Model簡稱JMM, 是一系列的Java虛拟機平台對開發者提供的多線程環境下的記憶體可見性、是否可以重排序等問題的無關具體平台的統一的保證。(可能在術語上與Java運作時記憶體分布有歧義,後者指堆、方法區、線程棧等記憶體區域)。
并發程式設計有多種風格,除了CSP(通信順序程序)、Actor等模型外,大家最熟悉的應該是基于線程和鎖的共享記憶體模型了。在多線程程式設計中,需要注意三類并發問題:
原子性
可見性
重排序
原子性涉及到,一個線程執行一個複合操作的時候,其他線程是否能夠看到中間的狀态、或進行幹擾。典型的就是i++的問題了,兩個線程同時對共享的堆記憶體執行++操作,而++操作在JVM、運作時、CPU中的實作都可能是一個複合操作, 例如在JVM指令的角度來看是将i的值從堆記憶體讀到操作數棧、加上一、再寫回到堆記憶體的i,這幾個操作的期間,如果沒有正确的同步,其他線程也可以同時執行,可能導緻資料丢失等問題。常見的原子性問題又叫競太條件,是基于一個可能失效的結果進行判斷,如讀取-修改-寫入。 可見性和重排序問題都源于系統的優化。
由于CPU的執行速度和記憶體的存取速度嚴重不比對,為了優化性能,基于時間局部性、空間局部性等局部性原理,CPU在和記憶體間增加了多層高速緩存,當需要取資料時,CPU會先到高速緩存中查找對應的緩存是否存在,存在則直接傳回,如果不存在則到記憶體中取出并儲存在高速緩存中。現在多核處理器越基本已經成為标配,這時每個處理器都有自己的緩存,這就涉及到了緩存一緻性的問題,CPU有不同強弱的一緻性模型,最強的一緻性安全性最高,也符合我們的順序思考的模式,但是在性能上因為需要不同CPU之間的協調通信就會有很多開銷。
典型的CPU緩存結構示意圖如下
CPU的指令周期通常為取指令、解析指令讀取資料、執行指令、資料寫回寄存器或記憶體。串行執行指令時其中的讀取存儲資料部分占用時間較長,是以CPU普遍采取指令流水線的方式同時執行多個指令, 提高整體吞吐率,就像工廠流水線一樣。 讀取資料和寫回資料到記憶體相比執行指令的速度不在一個數量級上,是以CPU使用寄存器、高速緩存作為緩存和緩沖,在從記憶體中讀取資料時,會讀取一個緩存行(cache line)的資料(類似磁盤讀取讀取一個block)。資料寫回的子產品在舊資料沒有在緩存中的情況下會将存儲請求放入一個store buffer中繼續執行指令周期的下一個階段,如果存在于緩存中則會更新緩存,緩存中的資料會根據一定政策flush到記憶體。public class MemoryModel { private int count; private boolean stop; public void initCountAndStop() { count = 1; stop = false; } public void doLoop() { while(!stop) { count++; } } public void printResult() { System.out.println(count); System.out.println(stop); }}
上面這段代碼執行時我們可能認為count = 1會在stop = false前執行完成,這在上面的CPU執行圖中顯示的理想狀态下是正确的,但是要考慮上寄存器、緩存緩沖的時候就不正确了, 例如stop本身在緩存中但是count不在,則可能stop更新後再count的write buffer寫回之前重新整理到了記憶體。
另外CPU、編譯器(對于Java一般指JIT)都可能會修改指令執行順序,例如上述代碼中count = 1和stop = false兩者并沒有依賴關系,是以CPU、編譯器都有可能修改這兩者的順序,而在單線程執行的程式看來結果是一樣的,這也是CPU、編譯器要保證的as-if-serial(不管如何修改執行順序,單線程的執行結果不變)。由于很大部分程式執行都是單線程的,是以這樣的優化是可以接受并且帶來了較大的性能提升。但是在多線程的情況下,如果沒有進行必要的同步操作則可能會出現令人意想不到的結果。例如線上程T1執行完initCountAndStop方法後,線程T2執行printResult,得到的可能是0, false, 可能是1, false, 也可能是0, true。如果線程T1先執行doLoop(),線程T2一秒後執行initCountAndStop, 則T1可能會跳出循環、也可能由于編譯器的優化永遠無法看到stop的修改。
由于上述這些多線程情況下的各種問題,多線程中的程式順序已經不是底層機制中的執行順序和結果,程式設計語言需要給開發者一種保證,這個保證簡單來說就是一個線程的修改何時對其他線程可見,是以Java語言提出了JavaMemoryModel即Java記憶體模型,對于Java語言、JVM、編譯器等實作者需要按照這個模型的約定來進行實作。Java提供了Volatile、synchronized、final等機制來幫助開發者保證多線程程式在所有處理器平台上的正确性。
在JDK1.5之前,Java的記憶體模型有着嚴重的問題,例如在舊的記憶體模型中,一個線程可能在構造器執行完成後看到一個final字段的預設值、volatile字段的寫入可能會和非volatile字段的讀寫重排序。
是以在JDK1.5中,通過JSR133提出了新的記憶體模型,修複之前出現的問題。
重排序規則
volatile和螢幕鎖
其中普通讀指getfield, getstatic, 非volatile數組的arrayload, 普通寫指putfield, putstatic, 非volatile數組的arraystore。
volatile讀寫分别是volatile字段的getfield, getstatic和putfield, putstatic。
monitorenter是進入同步塊或同步方法,monitorexist指退出同步塊或同步方法。
上述表格中的No指先後兩個操作不允許重排序,如(普通寫, volatile寫)指非volatile字段的寫入不能和之後任意的volatile字段的寫入重排序。當沒有No時,說明重排序是允許的,但是JVM需要保證最小安全性-讀取的值要麼是預設值,要麼是其他線程寫入的(64位的double和long讀寫操作是個特例,當沒有volatile修飾時,并不能保證讀寫是原子的,底層可能将其拆分為兩個單獨的操作)。
final字段
final字段有兩個額外的特殊規則
1.final字段的寫入(在構造器中進行)以及final字段對象本身的引用的寫入都不能和後續的(構造器外的)持有該final字段的對象的寫入重排序。例如, 下面的語句是不能重排序的
x = sharedRef; ...; i = x.finalField
2.final字段的第一次加載不能和持有這個final字段的對象的寫入重排序,例如下面的語句是不允許重排序的
x = sharedRef; ...; i = x.finalField
記憶體屏障
處理器都支援一定的記憶體屏障(memory barrier)或栅欄(fence)來控制重排序和資料在不同的處理器間的可見性。例如,CPU将資料寫回時,會将store請求放入write buffer中等待flush到記憶體,可以通過插入barrier的方式防止這個store請求與其他的請求重排序、保證資料的可見性。可以用一個生活中的例子類比屏障,例如坐地鐵的斜坡式電梯時,大家按順序進入電梯,但是會有一些人從左側繞過去,這樣出電梯時順序就不相同了,如果有一個人攜帶了一個大的行李堵住了(屏障),則後面的人就不能繞過去了:)。另外這裡的barrier和GC中用到的write barrier是不同的概念。
記憶體屏障的分類
幾乎所有的處理器都支援一定粗粒度的barrier指令,通常叫做Fence(栅欄、圍牆),能夠保證在fence之前發起的load和store指令都能嚴格的和fence之後的load和store保持有序。通常按照用途會分為下面四種barrier
LoadLoad Barriers
Load1; LoadLoad; Load2;
保證Load1的資料在Load2及之後的load前加載
StoreStore Barriers
Store1; StoreStore; Store2
保證Store1的資料先于Store2及之後的資料 在其他處理器可見
LoadStore Barriers
Load1; LoadStore; Store2
保證Load1的資料的加載在Store2和之後的資料flush前
StoreLoad Barriers
Store1; StoreLoad; Load2
保證Store1的資料在其他處理器前可見(如flush到記憶體)先于Load2和之後的load的資料的加載。StoreLoad Barrier能夠防止load讀取到舊資料而不是最近其他處理器寫入的資料。
幾乎近代的所有的多處理器都需要StoreLoad,StoreLoad的開銷通常是最大的,并且StoreLoad具有其他三種屏障的效果,是以StoreLoad可以當做一個通用的(但是更高開銷的)屏障。
是以,利用上述的記憶體屏障,可以實作上面表格中的重排序規則
為了支援final字段的規則,需要對final的寫入增加barrier
x.finalField = v; StoreStore; sharedRef = x;
插入記憶體屏障
基于上面的規則,可以在volatile字段、synchronized關鍵字的處理上增加屏障來滿足記憶體模型的規則
volatile store前插入StoreStore屏障
所有final字段寫入後但在構造器傳回前插入StoreStore
volatile store後插入StoreLoad屏障
在volatile load後插入LoadLoad和LoadStore屏障
monitor enter和volatile load規則一緻,monitor exit 和volatile store規則一緻。
HappenBefore
前面提到的各種記憶體屏障對應開發者來說還是比較複雜底層,是以JMM又可以使用一系列HappenBefore的偏序關系的規則方式來說明,要想保證執行操作B的線程看到操作A的結果(無論A和B是否在同一個線程中執行), 那麼在A和B之間必須要滿足HappenBefore關系,否則JVM可以對它們任意重排序。
HappenBefore規則清單
HappendBefore規則包括
程式順序規則: 如果程式中操作A在操作B之前,那麼同一個線程中操作A将在操作B之前進行
螢幕鎖規則: 在螢幕鎖上的鎖操作必須在同一個螢幕鎖上的加鎖操作之前執行
volatile變量規則: volatile變量的寫入操作必須在該變量的讀操作之前執行
線程啟動規則: 線上程上對Thread.start的調用必須在該線程中執行任何操作之前執行
線程結束規則: 線程中的任何操作都必須在其他線程檢測到該線程已經結束之前執行
中斷規則: 當一個線程在另一個線程上調用interrupt時,必須在被中斷線程檢測到interrupt之前執行
傳遞性: 如果操作A在操作B之前執行,并且操作B在操作C之前執行,那麼操作A在操作C之前執行。
其中顯示鎖與螢幕鎖有相同的記憶體語義,原子變量與volatile有相同的記憶體語義。鎖的擷取和釋放、volatile變量的讀取和寫入操作滿足全序關系,是以可以使用volatile的寫入在後續的volatile的讀取之前進行。
可以利用上述HappenBefore的多個規則進行組合。
例如線程A進入螢幕鎖後,在釋放螢幕鎖之前的操作根據程式順序規則HappenBefore于螢幕釋放操作,而螢幕釋放操作HappenBefore于後續的線程B的對相同螢幕鎖的擷取操作,擷取操作HappenBefore與線程B中的操作。