在高并發環境下該如何建構應用級緩存

摘要：立志成為資深架構師的你，是否能夠在高并發環境下合理并且高效的建構應用級緩存呢？

本文分享自華為雲社群《【高并發】在高并發環境下該如何建構應用級緩存？》，作者：冰 河。

随着我們的系統負載越來越高，系統的性能就會有所下降，此時，我們可以很自然地想到使用緩存來解決資料讀寫性能低下的問題。但是，立志成為資深架構師的你，是否能夠在高并發環境下合理并且高效的建構應用級緩存呢？

緩存命中率是從緩存中讀取資料的次數與總讀取次數的比率，命中率越高越好。緩存命中率=從緩存中讀取次數 / (總讀取次數 (從緩存中讀取次數 + 從慢速裝置上讀取次數))。這是一個非常重要的監控名額，如果做緩存，則應通過監控這個名額來看緩存是否工作良好。

基于空間指緩存設定了存儲空間，如設定為10MB，當達到存儲空間上限時，按照一定的政策移除資料。

基于容量指緩存設定了最大大小，當緩存的條目超過最大大小時，按照一定的政策移除舊資料。

TTL(Time To Live):存活期，即緩存資料從建立開始直到到期的一個時間段（不管在這個時間段内有沒有被通路，緩存資料都将過期）。

TTI(Time To Idle)：空閑期，即緩存資料多久沒被通路後移除緩存的時間。

軟引用：如果一個對象是軟引用，則當JVM堆記憶體不足時，垃圾回收器可以回收這些對象。軟引用适合用來做緩存，進而當JVM堆記憶體不足時，可以回收這些對象騰出一些空間供強引用對象使用，進而避免OOM。

弱引用：當垃圾回收器回收記憶體時，如果發現弱引用，則将它立即回收。相對于軟引用，弱引用有更短的生命周期。

注意：隻有在沒有其他強引用對象引用弱引用/軟引用對象時，垃圾回收時才回收該引用。即如果有一個對象（不是弱引用/軟引用對象）引用了弱引用/軟引用對象，那麼垃圾回收時不會回收該弱引用/軟引用對象。

使用基于空間和基于容量的緩存會使用一定的政策移除舊資料，常見的如下。

FIFO(First In First Out)：先進先出算法，即先放入緩存的先被移除。

LRU(Least Recently Used)：最近最少使用算法，時間時間距離現在最久的那個被移除。

LFU(Least Frequently Used)：最不常用算法，一定時間段内使用次數（頻率）最少的那個被移除。

實際應用中基于LRU的緩存居多。

堆記憶體： 使用Java堆記憶體來存儲對象。使用堆緩存的好處是沒有序列化/反序列化，是最快的緩存。缺點也很明顯，當緩存的資料量很大時，GC（垃圾回收）暫停時間會變長，存儲容量受限于堆空間大小。一般通過軟引用/弱引用來存儲緩存對象。即當堆記憶體不足時，可以強制回收這部分記憶體釋放堆記憶體空間。一般使用堆緩存存儲較熱的資料。可以使用Guava Cache、Ehcache 3.x、 MapDB實作。

堆外記憶體： 即緩存資料存儲在堆外記憶體，可以減少GC暫停時間（堆對象轉移到堆外，GC掃描和移動的對象變少了），可以支援更多的緩存空間（隻受機器記憶體大小限制，不受堆空間的影響）。但是，讀取資料時需要序列化/反序列化。是以，會比堆緩存慢很多。可以使用Ehcache 3.x、 MapDB實作。

磁盤緩存： 即緩存資料存儲在磁盤上，在JVM重新開機時資料還存在，而堆/堆外緩存資料會丢失，需要重新加載。可以使用Ehcache 3.x、MapDB實作。

分布式緩存： 分布式緩存可以使用ehcache-clustered(配合Terracotta server)實作Java程序間分布式緩存。也可以使用Memcached、Redis實作。

單機模式： 存儲最熱的資料到堆緩存，相對熱的資料到堆外緩存，不熱的資料到磁盤緩存。

叢集模式： 存儲最熱的資料到堆緩存，相對熱的資料到對外緩存，全量資料到分布式緩存。

最後，附上并發程式設計需要掌握的核心技能知識圖，祝大家在學習并發程式設計時，少走彎路。

點選關注，第一時間了解華為雲新鮮技術~