摘要

性能優化涉及面很廣。一般而言，性能優化指降低響應時間和提高系統吞吐量兩個方面，但在流量高峰時候，性能問題往往會表現為服務可用性下降，是以性能優化也可以包括提高服務可用性。在某些情況下，降低響應時間、提高系統吞吐量和提高服務可用性三者互相沖突，不可兼得。例如：增加緩存可以降低平均響應時間，但是處理線程數量會因為緩存過大而有所限制，進而降低系統吞吐量；為了提高服務可用性，對異常請求重複調用是一個常用的做法，但是這會提高響應時間并降低系統吞吐量。

對于很多像美團這樣的公司，它們的系統會面臨如下三個挑戰：1. 日益增長的使用者數量，2. 日漸複雜的業務，3. 急劇膨脹的資料。這些挑戰對于性能優化而言表現為：在保持和降低系統TP95響應時間（指的是将一段時間内的請求響應時間從低到高排序，高于95%請求響應時間的下确界）的前提下，不斷提高系統吞吐量，提升流量高峰時期的服務可用性。這種場景下，三者的目标和改進方法取得了比較好的一緻。本文主要目标是為類似的場景提供優化方案，確定系統在流量高峰時期的快速響應和高可用。

文章第一部分是介紹，包括采用模式方式講解的優點，文章所采用案例的說明，以及後面部分用到的一些設計原則；第二部分介紹幾種典型的“性能惡化模式”，闡述導緻系統性能惡化，服務可用性降低的典型場景以及形成惡化循環的過程；第三部分是文章重點，闡述典型的“性能優化模式”，這些模式或者可以使服務遠離“惡化模式”，或者直接對服務性能進行優化；文章最後一部分進行總結，并對未來可能出現的新模式進行展望。

介紹

模式講解方式

關于性能優化的文章和圖書已有很多，但就我所知，還沒有采用模式的方式去講解的。本文借鑒《設計模式》（*“Design Patterns-Elements of Reusable Object-Oriented Software”*）對設計模式的闡述方式，首先為每一種性能優化模式取一個貼切的名字，便于讀者快速了解和深刻記憶，接着講解該模式的動機和原理，然後結合作者在美團的具體工作案例進行深度剖析，最後總結采用該模式的優點以及需要付出的代價。簡而言之，本文采用“命名–>原理和動機–>具體案例–>缺點和優點”的四階段方式進行性能優化模式講解。與其他方式相比，采用模式進行講解有兩個方面的優點：一方面，讀者不僅僅能夠掌握優化手段，而且能夠了解采用該手段進行性能優化的場景以及所需付出的代價，這有利于讀者全面了解和靈活應用；另一方面，模式解決的是特定應用場景下的一類問題，是以應用場景描述貫穿于模式講解之中。如此，即使讀者對原理不太了解，隻要碰到的問題符合某個特定模式的應用場景（這往往比了解原理要簡單），就可以采用對應的手段進行優化，進一步促進讀者對模式的了解和掌握。

案例說明

文章的所有案例都來自于美團的真實項目。出于兩方面的考慮，作者做了一定的簡化和抽象：一方面，系統可以優化的問題衆多，而一個特定的模式隻能解決幾類問題，是以在案例分析過程中會突出與模式相關的問題；另一方面，任何一類問題都需要多元度資料去描述，而應用性能優化模式的前提是多元度資料的組合值超過了某個臨界點，但是精确定義每個次元數值的臨界點是一件很難的事情，更别說多元度資料組合之後臨界點。是以有必要對案例做一些簡化，確定相關取值範圍得到滿足。基于以上以及其他原因，作者所給出的解決方案隻是可行性方案，并不保證其是所碰到問題的最佳解決方案。

案例涉及的所有項目都是基于Java語言開發的，嚴格地講，所有模式适用的場景是基于Java語言搭建的服務。從另外一方面講，Java和C++的主要差別在于垃圾回收機制，是以，除去和垃圾回收機制緊密相關的模式之外，文章所描述的模式也适用于采用C++語言搭建的服務。對于基于其他語言開發的服務，讀者在閱讀以及實踐的過程中需要考慮語言之間的差别。

設計原則

必須說明，本文中各種模式所要解決的問題之是以會出現，部分是因為工程師運用了某些深層次的設計原則。有些設計原則看上去和優秀的設計理念相悖，模式所解決的問題似乎完全可以避免，但是它們卻被廣泛使用。“存在即合理”，世界上沒有完美的設計方案，任何方案都是一系列設計原則的妥協結果，是以本文主要關注點是解決所碰到的問題而不是如何繞過這些設計原則。下面對文中重要的設計原則進行詳細闡述，在後面需要運用該原則時将不再解釋。

最小可用原則

最小可用原則（快速接入原則）有兩個關注點：1. 強調快速接入，快速完成；2. 實作核心功能可用。這是一個被普遍運用的原則，其目标是縮短測試周期，增加試錯機會，避免過度設計。為了快速接入就必須最大限度地利用已有的解決方案或系統。從另外一個角度講，一個解決方案或系統隻要能夠滿足基本需求，就滿足最小可用原則的應用需求。過度強調快速接入原則會導緻重構風險的增加，原則上講，基于該原則去設計系統需要為重構做好準備。

經濟原則

經濟原則關注的是成本問題，看起來很像最小可用原則，但是它們之間關注點不同。最小可用原則的目标是通過降低開發周期，快速接入而實作風險可控，而快速接入并不意味着成本降低，有時候為了實作快速接入可能需要付出巨大的成本。軟體項目的生命周期包括：預研、設計、開發、測試、運作、維護等階段。最小可用原則主要運用在預研階段，而經濟原則可以運用在整個軟體生命周期裡，也可以隻關注某一個或者幾個階段。例如：運作時經濟原則需要考慮的系統成本包括單次請求的CPU、記憶體、網絡、磁盤消耗等；設計階段的經濟原則要求避免過度設計；開發階段的經濟原則可能關注代碼複用，工程師資源複用等。

代碼複用原則

代碼複用原則分為兩個層次：第一個層次使用已有的解決方案或調用已存在的共享庫（Shared Library），也稱為方案複用；第二個層次是直接在現有的代碼庫中開發，也稱之為共用代碼庫。

方案複用是一個非常實用主義的原則，它的出發點就是最大限度地利用手頭已有的解決方案，即使這個方案并不好。方案的形式可以是共享庫，也可以是已存在的服務。方案複用的例子參見避免蚊子大炮模式的具體案例。用搜尋引擎服務來解決查找附近商家的問題是一個性能很差的方案，但仍被很多工程師使用。方案複用原則的一個顯著優點就是提高生産效率，例如：Java之是以能夠得到如此廣泛應用，原因之一就是有大量可以重複利用的開源庫。實際上“Write once, run anywhere”是Java語言最核心的設計理念之一。基于Java語言開發的代碼庫是以得以在不同硬體平台、不同作業系統上更廣泛地使用。

共用代碼庫要求在同一套代碼庫中完成所有功能開發。采用這個原則，代碼庫中的所有功能編譯時可見，新功能代碼可以無邊界的調用老代碼。另外，原代碼庫已存在的各種運作、編譯、測試、配置環境可複用。主要有兩個方面地好處：1. 充分利用代碼庫中已有的基礎設施，快速接入新業務；2. 直接調用原代碼中的基礎功能或原語，避免網絡或程序間調用開銷，性能更佳。共用代碼庫的例子參見垂直分割模式的具體案例。

從設計的角度上講，方案複用類似于微服務架構（Microservice Architecture，有些觀點認為這是一種形式的SOA），而共用代碼庫和Monolithic Architecture很接近。總的來說，微服務傾向于面向接口程式設計，要求設計出可重用性的元件（Library或Service），通過分層組織各層元件來實作良好的架構。與之相對應，Monolith Architecture則希望盡可能在一套代碼庫中開發，通過直接調用代碼中的基礎功能或原語而實作性能的優化和快速疊代。使用Monolith Architecture有很大的争議，被認為不符合“設計模式”的理念。參考文獻[4]，Monolithic Design主要的缺點包括：1. 缺乏美感；2. 很難重構；3. 過早優化（參見文獻[6]*Optimize judiciously*）; 4. 不可重用；5. 限制眼界。微服務架構是很多網際網路公司的主流架構，典型的運用公司包括Amazon、美團等。Monolithic Architecture也有其忠實的粉絲，例如：Tripadvisor的全球網站就共用一套代碼庫；基于性能的考慮，Linux最終選擇的也是Monolithic kernel的模式。

奧卡姆剃刀原則

系統設計以及代碼編寫要遵循奧卡姆剃刀原則：Entities should not be multiplied unnecessarily。

一般而言，一個系統的代碼量會随着其功能增加而變多。系統的健壯性有時候也需要通過編寫異常處理代碼來實作。異常考慮越周全，異常處理代碼量越大。但是随着代碼量的增大，引入Bug的機率也就越大，系統也就越不健壯。從另外一個角度來講，異常流程處理代碼也要考慮健壯性問題，這就形成了無限循環。是以在系統設計和代碼編寫過程中，奧卡姆剃刀原則要求：一個功能子產品如非必要，就不要；一段代碼如非必寫，就不寫。

奧卡姆剃刀原則和最小可用原則有所差別。最小可用原則主要運用于産品MVP階段，本文所指的奧卡姆剃刀原則主要指系統設計和代碼編寫兩個方面，這是完全不同的兩個概念。MVP包含系統設計和代碼編寫，但同時，系統設計和代碼編寫也可以發生在成熟系統的疊代階段。

性能惡化模式

在講解性能優化模式之前，有必要先探讨一下性能惡化模式，因為：

1. 很多性能優化模式的目标之一就是避免系統進入性能惡化模式；
2. 不同性能優化模式可能是避免同一種性能惡化模式；
3. 同一種性能優化模式可能在不同階段避免不同的性能惡化模式。

在此統一闡述性能惡化模式，避免下文重複解釋。為了便于讀者清晰識别惡化模式和優化模式，惡化模式采用“XXX反模式”的方式進行命名。

長請求擁塞反模式（High Latency Invocating AntiPattern）

這是一種單次請求時延變長而導緻系統性能惡化甚至崩潰的惡化模式。對于多線程服務，大量請求時間變長會使線程堆積、記憶體使用增加，最終可能會通過如下三種方式之一惡化系統性能： 1. 線程數目變多導緻線程之間CPU資源使用沖突，反過來進一步延長了單次請求時間； 2. 線程數量增多以及線程中緩存變大，記憶體消耗随之劇增，對于基于Java語言的服務而言，又會更頻繁地full GC，反過來單次請求時間會變得更長； 3. 記憶體使用增多，會使作業系統記憶體不足，必須使用Swap，可能導緻服務徹底崩潰。

典型惡化流程圖如下圖：

長請求擁塞反模式所導緻的性能惡化現象非常普遍，是以識别該模式非常重要。典型的場景如下：某複雜業務系統依賴于多個服務，其中某個服務的響應時間變長，随之系統整體響應時間變長，進而出現CPU、記憶體、Swap報警。系統進入長請求擁塞反模式的典型辨別包括：被依賴服務可用性變低、響應時間變長、服務的某段計算邏輯時間變長等。

多次請求杠杆反模式（Levered Multilayer Invocating AntiPattern）

用戶端一次使用者點選行為往往會觸發多次服務端請求，這是一次請求杠杆；每個服務端請求進而觸發多個更底層服務的請求，這是第二次請求杠杆。每一層請求可能導緻一次請求杠杆，請求層級越多，杠杆效應就越大。在多次請求杠杆反模式下運作的分布式系統，處于深層次的服務需要處理大量請求，容易會成為系統瓶頸。與此同時，大量請求也會給網絡帶來巨大壓力，特别是對于單次請求資料量很大的情況，網絡可能會成為系統徹底崩潰的導火索。典型惡化流程圖如下圖：

多次請求杠杆所導緻的性能惡化現象非常常見，例如：對于美團推薦系統，一個使用者清單請求會有多個算法參與，每個算法會召回多個清單單元（商家或者團購），每個清單單元有多種屬性和特征，而這些屬性和特征資料服務又分布在不同服務和機器上面，是以用戶端的一次使用者展現可能導緻了成千上萬的最底層服務調用。對于存在多次請求杠杆反模式的分布式系統，性能惡化與流量之間往往遵循指數曲線關系。這意味着，在平常流量下正常運作服務系統，在流量高峰時通過線性增加機器解決不了可用性問題。是以，識别并避免系統進入多次請求杠杆反模式對于提高系統可用性而言非常關鍵。

反複緩存反模式（Recurrent Caching AntiPattern）

為了降低響應時間，系統往往在本地記憶體中緩存很多資料。緩存資料越多，命中率就越高，平均響應時間就越快。為了降低平均響應時間，有些開發者會不加限制地緩存各種資料，在正常流量情況下，系統響應時間和吞吐量都有很大改進。但是當流量高峰來臨時，系統記憶體使用開始增多，觸發了JVM進行full GC，進而導緻大量緩存被釋放（因為主流Java記憶體緩存都采用SoftReference和WeakReference所導緻的），而大量請求又使得緩存被迅速填滿，這就是反複緩存。反複緩存導緻了頻繁的full GC，而頻繁full GC往往會導緻系統性能急劇惡化。典型惡化流程圖如下圖：

反複緩存所導緻性能惡化的原因是無節制地使用緩存。緩存使用的指導原則是：工程師們在使用緩存時必須全局考慮，精細規劃，確定資料完全緩存的情況下，系統仍然不會頻繁full GC。為了確定這一點，對于存在多種類型緩存以及系統流量變化很大的系統，設計者必須嚴格控制緩存大小，甚至廢除緩存（這是典型為了提高流量高峰時可用性，而降低平均響應時間的一個例子）。反複緩存反模式往往發生在流量高峰時候，通過線性增加機器和提高機器記憶體可以大大減少系統崩潰的機率。

性能優化模式

水準分割模式（Horizontal partitioning Pattern）

原理和動機

典型的服務端運作流程包含四個環節：接收請求、擷取資料、處理資料、傳回結果。在一次請求中，擷取資料和處理資料往往多次發生。在完全串行運作的系統裡，一次請求總響應時間滿足如下公式：

一次請求總耗時=解析請求耗時 + ∑(擷取資料耗時+處理資料耗時) + 組裝傳回結果耗時

大部分耗時長的服務主要時間都花在中間兩個環節，即擷取資料和處理資料環節。對于非計算密集性的系統，主要耗時都用在擷取資料上面。擷取資料主要有三個來源：本地緩存，遠端緩存或者資料庫，遠端服務。三者之中，進行遠端資料庫通路或遠端服務調用相對耗時較長，特别是對于需要進行多次遠端調用的系統，串行調用所帶來的累加效應會極大地延長單次請求響應時間，這就增大了系統進入長請求擁塞反模式的機率。如果能夠對不同的業務請求并行處理，請求總耗時就會大大降低。例如下圖中，Client需要對三個服務進行調用，如果采用順序調用模式，系統的響應時間為18ms，而采用并行調用隻需要7ms。

水準分割模式首先将整個請求流程切分為必須互相依賴的多個Stage，而每個Stage包含互相獨立的多種業務處理（包括計算和資料擷取）。完成切分之後，水準分割模式串行處理多個Stage，但是在Stage内部并行處理。如此，一次請求總耗時等于各個Stage耗時總和，每個Stage所耗時間等于該Stage内部最長的業務處理時間。

水準分割模式有兩個關鍵優化點：減少Stage數量和降低每個Stage耗時。為了減少Stage數量，需要對一個請求中不同業務之間的依賴關系進行深入分析并進行解耦，将能夠并行處理的業務盡可能地放在同一個Stage中，最終将流程分解成無法獨立運作的多個Stage。降低單個Stage耗時一般有兩種思路：1. 在Stage内部再嘗試水準分割（即遞歸水準分割)，2. 對于一些可以放在任意Stage中進行并行處理的流程，将其放在耗時最長的Stage内部進行并行處理，避免耗時較短的Stage被拉長。

水準分割模式不僅可以降低系統平均響應時間，而且可以降低TP95響應時間（這兩者有時候互相沖突，不可兼得）。通過降低平均響應時間和TP95響應時間，水準分割模式往往能夠大幅度提高系統吞吐量以及高峰時期系統可用性，并大大降低系統進入長請求擁塞反模式的機率。

具體案例

我們的挑戰來自為使用者提供高性能的優質個性化清單服務，每一次清單服務請求會有多個算法參與，而每個算法基本上都采用“召回->特征擷取->計算”的模式。 在進行性能優化之前，算法之間采用順序執行的方式。伴随着算法工程師的持續疊代，算法數量越來越多，随之而來的結果就是用戶端響應時間越來越長，系統很容易進入長請求擁塞反模式。曾經有一段時間，一旦流量高峰來臨，出現整條服務鍊路的機器CPU、記憶體報警。在對系統進行分析之後，我們采取了如下三個優化措施，最終使得系統TP95時間降低了一半：

1. 算法之間并行計算；
2. 每個算法内部，多次特征擷取進行了并行處理；
3. 在排程線程對工作線程進行排程的時候，耗時最長的線程最先排程，最後處理。

缺點和優點

1. 對成熟系統進行水準切割，意味着對原系統的重大重構，工程師必須對業務和系統非常熟悉，是以要謹慎使用。水準切割主要有兩方面的難點：
2. 并行計算将原本單一線程的工作配置設定給多線程處理，提高了系統的複雜度。而多線程所引入的安全問題讓系統變得脆弱。與此同時，多線程程式測試很難，是以重構後系統很難與原系統在業務上保持一緻。
3. 對于一開始就基于單線程處理模式編寫的系統，有些流程在邏輯上能夠并行處理，但是在代碼層次上由于互相引用已經難以分解。是以并行重構意味着對共用代碼進行重複撰寫，增大系統的整體代碼量，違背奧卡姆剃刀原則。

對于上面提到的第二點，舉例如下：A和B是邏輯可以并行處理的兩個流程，基于單線程設計的代碼，假定處理完A後再處理B。在編寫處理B邏輯代碼時候，如果B需要的資源已經在處理A的過程中産生，工程師往往會直接使用A所産生的資料，A和B之間是以出現了緊耦合。并行化需要對它們之間的公共代碼進行拆解，這往往需要引入新的抽象，更改原資料結構的可見域。

在如下兩種情況，水準切割所帶來的好處不明顯：

1. 一個請求中每個處理流程需要擷取和緩存的資料量很大，而不同流程之間存在大量共享的資料，但是請求之間資料共享卻很少。在這種情況下，流程處理完之後，資料和緩存都會清空。采用順序處理模式，資料可以被緩存線上程局部存儲（ThreadLocal）中而減少重複擷取資料的成本；如果采用水準切割的模式，在一次請求中，不同流程會多次擷取并緩存的同一類型資料，對于記憶體原本就很緊張的系統，可能會導緻頻繁full GC，進入反複緩存反模式。
2. 某一個處理流程所需時間遠遠大于其他所有流程所需時間的總和。這種情況下，水準切割不能實質性地降低請求響應時間。

采用水準切割的模式可以降低系統的平均響應時間和TP95響應時間，以及流量高峰時系統崩潰的機率。雖然進行代碼重構比較複雜，但是水準切割模式非常容易了解，隻要熟悉系統的業務，識别出可以并行處理的流程，就能夠進行水準切割。有時候，即使少量的并行化也可以顯著提高整體性能。對于新系統而言，如果存在可預見的性能問題，把水準分割模式作為一個重要的設計理念将會大大地提高系統的可用性、降低系統的重構風險。總的來說，雖然存在一些具體實施的難點，水準分割模式是一個非常有效、容易識别和了解的模式。

垂直分割模式（Vertical partitioning Pattern）

原理和動機

對于移動網際網路節奏的公司，新需求往往是一波接一波。基于代碼複用原則，工程師們往往會在一個系統實作大量相似卻完全不相幹的功能。伴随着功能的增強，系統實際上變得越來越脆弱。這種脆弱可能表現在系統響應時間變長、吞吐量降低或者可用性降低。導緻系統脆弱原因主要來自兩方面的沖突：資源使用沖突和可用性不一緻沖突。

資源使用沖突是導緻系統脆弱的一個重要原因。不同業務功能并存于同一個運作系統裡面意味着資源共享，同時也意味着資源使用沖突。可能産生沖突的資源包括：CPU、記憶體、網絡、I/O等。例如：一種業務功能，無論其調用量多麼小，都有一些記憶體開銷。對于存在大量緩存的業務功能，業務功能數量的增加會極大地提高記憶體消耗，進而增大系統進入反複緩存反模式的機率。對于CPU密集型業務，當産生沖突的時候，響應時間會變慢，進而增大了系統進入長請求擁塞反模式的可能性。

不加差別地将不同可用性要求的業務功能放入一個系統裡，會導緻系統整體可用性變低。當不同業務功能糅合在同一運作系統裡面的時候，在運維和機器層面對不同業務的可用性、可靠性進行調配将會變得很困難。但是，在高峰流量導緻系統瀕臨崩潰的時候，最有效的解決手段往往是運維，而最有效手段的失效也就意味着核心業務的可用性降低。

垂直分割思路就是将系統按照不同的業務功能進行分割，主要有兩種分割模式：部署垂直分割和代碼垂直分割。部署垂直分割主要是按照可用性要求将系統進行等價分類，不同可用性業務部署在不同機器上，高可用業務單獨部署；代碼垂直分割就是讓不同業務系統不共享代碼，徹底解決系統資源使用沖突問題。

具體案例

我們的挑戰來自于美團推薦系統，美團用戶端的多個頁面都有推薦清單。雖然不同的推薦産品需求來源不同，但是為了實作快速的接入，基于共用代碼庫原則，所有的推薦業務共享同一套推薦代碼，同一套部署。在一段時間内，我們發現push推薦和首頁“猜你喜歡推薦”的資源消耗巨大。特别是在push推薦的高峰時刻，CPU和記憶體頻繁報警，系統不停地full GC，造成美團使用者進入用戶端時，首頁出現大片空白。

在對系統進行分析之後，得出兩個結論：

1. 首頁“猜你喜歡”對使用者體驗影響更大，應該給予最高可用性保障，而push推薦給予較低可用性保障；
2. 首頁“猜你喜歡”和push推薦都需要很大的本地緩存，有較大的記憶體使用沖突，并且響應時間都很長，有嚴重的CPU使用沖突。

是以我們采取了如下措施，一方面，解決了首頁“猜你喜歡”的可用性低問題，減少了未來出現可用性問題的機率，最終将其TP95響應時間降低了40%；另一方面也提高了其他推薦産品的服務可用性和高峰吞吐量。

1. 将首頁“猜你喜歡”推薦進行單獨部署，而将push推薦和其他對系統資源要求不高的推薦部署在另一個叢集上面；
2. 對于新承接的推薦業務，建立一套代碼，避免影響首頁推薦這種最高可用性的業務。

缺點和優點

垂直分割主要的缺點主要有兩個：

1. 增加了維護成本。一方面代碼庫數量增多提高了開發工程師的維護成本，另一方面，部署叢集的變多會增加運維工程師的工作量；
2. 代碼不共享所導緻的重複編碼工作。

解決重複編碼工作問題的一個思路就是為不同的系統提供共享庫（Shared Library），但是這種耦合反過來可能導緻部署機器中引入未部署業務的開銷。是以在共享庫中要減少靜态代碼的初始化開銷，并将類似緩存初始化等工作交給上層系統。總的來說，通過共享庫的方式引入的開銷可以得到控制。但是對于業務密集型的系統，由于業務往往是高度定制化的，共用一套代碼庫的好處是開發工程師可以采用Copy-on-write的模式進行開發，需要修改的時候随時拷貝并修改。共享庫中應該存放不容易變化的代碼，避免使用者頻繁更新，是以并不适合這種場景。是以，對于業務密集型的系統，分代碼所導緻的重複編碼量是需要權衡的一個因素。

垂直分割是一個非常簡單而又有效的性能優化模式，特别适用于系統已經出現問題而又需要快速解決的場景。部署層次的分割既安全又有效。需要說明的是部署分割和簡單意義上的加機器不是一回事，在大部分情況下，即使不增加機器，僅通過部署分割，系統整體吞吐量和可用性都有可能提升。是以就短期而言，這幾乎是一個零成本方案。對于代碼層次的分割，開發工程師需要在業務承接效率和系統可用性上面做一些折衷考慮。

恒變分離模式（Runtime 3NF Pattern）

原理和動機

基于性能的設計要求變化的資料和不變的資料分開，這一點和基于面向對象的設計原則相悖。在面向對象的設計中，為了便于對一個對象有整體的把握，緊密相關的資料集合往往被組裝進一個類，存儲在一個資料庫表，即使有部分資料備援（關于面向對象與性能沖突的讨論網上有很多文章，本文不細講）。很多系統的主要工作是處理變化的資料，如果變化的資料和不變的資料被緊密組裝在一起，系統對變化資料的操作将引入額外的開銷。而如果易變資料占總資料比例非常小，這種額外開銷将會通過杠杆效應惡化系統性能。分離易變和恒定不變的資料在對象建立、記憶體管理、網絡傳輸等方面都有助于性能提高。

恒變分離模式的原理非常類似與資料庫設計中的第三範式（3NF）：第三範式主要解決的是靜态存儲中重複存儲的問題，而恒變分離模式解決的是系統動态運作時候恒定資料重複建立、傳輸、存儲和處理的問題。按照3NF，如果一個資料表的每一記錄都依賴于一些非主屬性集合，而這些非主屬性集合大量重複出現，那麼應該考慮對被依賴的非主屬性集合定義一個新的實體（建構一個新的資料表），原資料庫的記錄依賴于新實體的ID。如此一來資料庫重複存儲資料量将大大降低。類似的，按照恒變分離模式，對于一個實體，如果系統處理的隻是這個實體的少量變化屬性，應該将不變的屬性定義為一個新實體（運作時的另一個類，資料庫中的另一個表），原來實體通過ID來引用新實體，那麼原有實體在運作系統中的資料傳輸、建立、網絡開銷都會大大降低。

案例分析

我們的挑戰是提供一個高性能、高一緻性要求的團購服務（DealService）。系統存在一些多次請求杠杆反模式問題，用戶端一次請求會導緻幾十次DealService讀取請求，每次擷取上百個團購詳情資訊，服務端單機需要支援每秒萬次級别的吞吐量。基于需求，系統大體架構設計如下：

每個DealService定期從持久層同步所有發生變化的deal資訊，所有的deal資訊儲存在記憶體裡面。在最初的設計裡面，資料庫隻有一個資料表DealModelTable，程式裡面也隻有一個實體類DealModel。由于銷量、價格、使用者評價等資訊的頻發變化，為了達到高一緻性要求，服務系統每分鐘需要從資料庫同步幾萬條記錄。随着美團團購數量的增多和使用者活躍度的增加，系統出現了三個問題：

1. 團購服務網卡頻繁報警，由于這是高性能低延時服務，又導緻了大量的用戶端逾時異常；
2. 頻繁的full GC，這是由于每條資料庫記錄更新都會導緻運作系統裡面老的DealModel實體被銷毀，新的DealModels實體被建立；
3. 資料庫從庫滞後主庫，使得服務資料一緻性降低，原因是資料庫系統寫資料量巨大。

在對系統進行分析之後，我們采用了如下措施，大大降低了網絡傳輸的資料量，緩解了主從資料庫同步壓力，使得用戶端的逾時異常從高峰時候的9%降低到了小于0.01%（低于萬分之一）：

1. 将DealModelTable中的銷量、價格、使用者評價等常變的資訊單獨建構一張資料表VariableDealModel；
2. 同時在代碼中為銷量、價格、使用者評價等常變資料建立一個單獨的類VariableDealModel；
3. DealService對兩張表進行分别同步；
4. 如果DealModelTable的記錄産生了更新，運作系統銷毀老的DealModel實體并建立新的DealModel實體；
5. 如果隻是VariableDealModel的記錄産生了更新，隻對VariableDealModel的屬性進行更改。

缺點和優點

采用恒變分離模式，主要有三個缺點：

1. 不符合面向對象的設計原則。原本概念上統一的實體被切分成多個實體，會給開發工程師帶來一些了解上的困難，是以增加維護成本。進一步而言，這會增加引入額外Bug的機率（實際上面向對象之是以如此受歡迎的一個重要原因就是容易了解）。
2. 增加了類不變量（Class invariant）的維護難度。很多情況下，Class invariant是通過語言所提供的封裝（Encapsulation）特性來維護的。當一個類變成多個類，Class invariant可能會被破壞。如果必須維護Class invariant，而這種Class invariant又發生在不同實體之間，那麼往往是把不變的屬性從不變實體移到易變的實體中去。
3. 一張資料庫表變成多張，也會增加維護成本。

在如下兩種場景下，恒變分離模式所帶來的好處有限：

1. 易變資料導緻的操作和傳輸并不頻繁，不是系統主要操作；
2. 易變資料占整體資料的比例很高，杠杆效應不顯著，通過恒變分離模式不能根本性地解決系統性能問題。

總的來說，恒變分離模式非常容易了解，其應用往往需要滿足兩個條件：易變資料占整體資料比例很低（比例越低，杠杆效應越大）和易變資料所導緻的操作又是系統的主要操作。在該場景下，如果系統性能已經出現問題，犧牲一些可維護性就顯得物有所值。

大部分系統都是由多種類型的資料構成，大多數資料類型的都包含易變、少變和不變的屬性。盲目地進行恒變分離會導緻系統的複雜度指數級别的增加，系統變得很難維護，是以系統設計者必須在高性能和高維護性之間找到一個平衡點。作者的建議是：對于複雜的業務系統，盡量按照面向對象的原則進行設計，隻有在性能出現問題的時候才開始考慮恒變分離模式；而對于高性能，業務簡單的基礎資料服務，恒變分離模式應該是設計之初的一個重要原則。

資料局部性模式（Locality Pattern）

原理和動機

資料局部性模式是多次請求杠杆反模式的針對性解決方案。在大資料和強調個性化服務的時代，一個服務消費幾十種不同類型資料的現象非常常見，同時每一種類型的資料服務都有可能需要一個大的叢集（多台機器）提供服務。這就意味着用戶端的一次請求有可能會導緻服務端成千上萬次調用操作，很容易使系統進入多次請求杠杆反模式。在具體開發過程中，導緻資料服務數量暴增的主要原因有兩個：1. 緩存濫用以及缺乏規劃，2. 資料量太大以至于無法在一台機器上提供全量資料服務。資料局部性模的核心思想是合理組織資料服務，減少服務調用次數。具體而言，可以從服務端和用戶端兩個方面進行優化。

服務端優化方案的手段是對服務進行重新規劃。對于資料量太大以至于無法在一台機器上存儲全量資料的場景，建議采用Bigtable或類似的解決方案提供資料服務。典型的Bigtable的實作包括Hbase、Google Cloud Bigtable等。實際上資料局部性是Bigtable的一個重要設計原則，其原理是通過Row key和Column key兩個主鍵來對資料進行索引，并確定同一個Row key索引的所有資料都在一台伺服器上面。通過這種資料組織方式，一次網絡請求可以擷取同一個Row key對應的多個Column key索引的資料。缺乏規劃也是造成服務數量劇增的一個重要原因。很多通過統計和挖掘出來的特征資料往往是在漫長的時間裡由不同team獨立産生的。而對于每種類型資料，在其産生之初，由于不确定其實際效果以及生命周期，基于快速接入原則，服務提供者往往會用手頭最容易實施的方案，例如采用Redis Cache（不加選擇地使用緩存會導緻緩存濫用）。資料服務之間缺乏關聯以及缺乏标準接入規劃流程就會導緻資料服務數量膨脹。資料局部性原則對規劃的要求，具體而言是指：1. 資料由盡可能少的伺服器來提供，2. 經常被一起使用的資料盡可能放在同一台伺服器上。

用戶端優化有如下幾個手段：

1. 本地緩存，對于一緻性要求不高且緩存命中率較高的資料服務，本地緩存可以減少服務端調用次數；
2. 批處理，對于單機或者由等價的機器叢集提供的資料服務，盡可能采用批處理方式，将多個請求合成在一個請求中；
3. 用戶端Hash，對于需要通過Hash将請求配置設定到不同資料服務機器的服務，盡量在用戶端進行Hash，對于落入同一等價叢集的請求采用批處理方式進行調用。

案例分析

我們的挑戰來自于美團的推薦、個性化清單和個性化搜尋服務。這些個性化系統需要擷取各種使用者、商家和團購資訊。資訊類型包括基本屬性和統計屬性。最初，不同屬性資料由不同的服務提供，有些是RPC服務，有些是Redis服務，有些是HBase或者資料庫，參見下圖：

通常而言，用戶端每個使用者請求都會觸發多個算法。一方面，每個算法都會召回幾十甚至幾百個團購或者商家ID，團購和商家基礎屬性被均勻地配置設定到幾十台Redis裡面（如下圖），産生了大量的Redis請求，極端情況下，一次用戶端請求所觸發的團購基礎資料請求就超過了上千次；另一方面，使用者特征屬性資訊有十幾種，每種屬性也由單獨的服務提供，服務端網絡調用次數暴增。在一段時間裡，很多系統都進入了多次請求杠杆反模式，Redis伺服器的網卡經常被打死，多次進行擴容，提高線程池線程數量，絲毫沒有改善。

在對系統進行分析之後，按照資料局部性模式的原則，我們采用了如下手段，徹底解決了系統多次請求杠杆反模式的問題：

1. 采用大記憶體伺服器存儲所有的團購和商家基礎資訊，每個算法隻要一次網絡請求就可以擷取所有的資訊；
2. 服務端采用多線程方式提供服務，避免了Redis單一線程模式下單個請求慢所帶來的連鎖效應；
3. 借鑒類似Bigtable的資料組織方式，将使用者的多種特征采用兩個次元（使用者次元和特征類型）進行索引，確定同一使用者的資訊隻存放在一台機器上面，減少網絡調用數量。

缺點和優點

資料局部性模式并不适用于系統初級階段。在初級階段，最小可用原則往往是主要設計原則之一，出于兩方面的考慮：一方面，在初級階段，很難預測所要提供服務的資料是否有效而且能夠長期使用，以及未來的調用量；另一方面，在初級階段，工程師可能無法預測最終的調用模式，而不同的調用模式會導緻資料局部性方案的設計不同。對于已經大量使用的資料服務，采用資料局部性模式進行重構必然要改變老的調用模式，這一方面會引入新的Bug，另一方面也意味着巨大的工作量。需要特别強調的是，資料處于系統的最底層，對于結構複雜而又重要的資料，重構所帶來可靠性、一緻性和工作量都是需要權衡的因素。對于請求量比較小的資料服務，即使一次請求會觸發嚴重的請求杠杆效應，但是如果原始觸發請求數量在可預見的時間内沒有明顯變多的迹象，進行資料服務重構可能得不償失。

資料局部性模式能夠解決多次請求杠杆反模式所導緻的問題，但它并非大資料的産物，CPU、編譯器的設計理念裡早就融入了該模式，是以很容易被工程師了解。雖然過度設計在系統初級階段是一個要盡量避免的事情，但是了解和掌握資料局部性模式對于設計出一個可擴充、可重用的系統有很大幫助。很多成熟的系統因為多次請求杠杆反模式而導緻系統頻繁崩潰，了解資料局部性模式的原則有助于提高工程師分析解決問題的能力，而在确認了系統存在請求杠杆問題後，資料局部性原則是一件非常銳利的武器。

避免蚊子大炮模式（Avoiding Over-generalized Solution Pattern）

原理和動機

“用大炮打蚊子”本來是大材小用的意思，但是細緻想一想，用大炮打蚊子，成功率不高。對于開發工程師而言，一方面為了快速承接業務，按照方案複用原則，總是盡可能地利用現有系統，這使得系統功能越來越強大；另一方面，提高系統的通用性或可重用性也是工程師們在設計系統的一個重要目标。随着這兩個過程的互相獨立演化，采用通用方案解決特定問題的現象随處可見，形象地說，這就像大炮打蚊子。大炮成本很高，蚊子的數量衆多，最終的結局往往是蚊子戰勝了大炮。

“避免蚊子大炮模式”是經濟原則在運作時系統的運用，它要求采用最節省資源（CPU、記憶體等）的方法來解決所面臨的問題，資源浪費會帶來未來潛在的風險。工程師接到一個需求的時候，需要思考的不僅僅是如何複用現有的系統，減少開發時間，還需要考慮現有系統為處理每個新需求通路所需運作時成本，以及新需求的預期通路量。否則，不加辨識地利用現有系統，不僅僅增大了重構風險，還有可能交叉影響，對現有系統所支援的服務造成影響。從另外一個角度講，工程師在建構一個可重用系統的時候，要明确其所不能解決和不建議解決的問題，而對于不建議解決的問題，在文檔中标明潛在的風險。

案例分析

我們的挑戰是為移動使用者尋找其所在位置附近的商家資訊。美團有非常完善的搜尋系統，也有資深的搜尋工程師，是以一個系統需要查找附近的商家的時候，往往第一方案就是調用搜尋服務。但是在美團，太多的服務有基于LBS的查詢需求，導緻搜尋請求量直線上升，這本來不屬于搜尋的主營業務，在一段時間裡面反倒成了搜尋的最多請求來源。而搜尋引擎在如何從幾十萬商家裡面找最近的幾百商家方面的性能非常差，是以一段時間裡，搜尋服務頻繁報警。不僅僅搜尋服務可用性受到了影響，所有依賴于LBS的服務的可用性都大大降低。

在對系統分析之後，我們認為更适合解決最短直線距離的算法應該是k-d tree，在快速實作了基于k-d tree的LBS Search解決方案之後，我們用4台伺服器輕松解決了30多台搜尋伺服器無法解決的問題，平均響應時間從高峰時的100ms降低到300ns，性能取得了幾百倍的提高。

缺點和優點

避免蚊子大炮模式的問題和資料局部性模式類似，都與最小可用原則相沖突。在系統設計初級階段，尋求最優方案往往意味着過度設計，整個項目在時間和成本變得不可控，而為每個問題去找最優秀的解決方案是不現實的奢求。最優化原則的要求是全面的，不僅僅要考慮的運作時資源，還需要考慮工程師資源和時間成本等，而這些點往往互相沖突。在如下情況下，避免蚊子大炮模式所帶來的好處有限：在可預見的未來，某個業務請求量非常小，這時候花大量精力去找最優技術方案效果不明顯。

在設計階段，避免蚊子大炮模式是一個需要工程師去權衡的選擇，需要在開發成本和系統運作成本之間保持一個平衡點。當很多功能融入到一個通用系統裡而出現性能問題的時候，要拆分出來每一個功能點所造成的影響也不是件輕易的事情，是以采用分開部署而共用代碼庫的原則可以快速定位問題，然後有針對性地解決“蚊子大炮”問題。總的來說，在設計階段，避免蚊子大炮模式是工程師們進行分析和設計的一個重要準則，工程師可以暫時不解決潛在的問題，但是一定要清楚潛在的危害。建構可重用系統或方案，一定要明确其所不能解決和不建議解決的問題，避免過度使用。

實時離線分離模式（Sandbox Pattern）

原理和動機

本模式的極端要求是：離線服務永遠不要調用實時服務。該模式比較簡單也容易了解，但是，嚴格地講它不是一種系統設計模式，而是一種管理規範。離線服務和線上服務從可用性、可靠性、一緻性的要求上完全不同。原則上，工程師在編寫離線服務代碼的時候，應該遵循的就是離線服務程式設計規範，按照線上服務程式設計規範要求，成本就會大大提高，不符合經濟原則；從另外一方面講，按照離線服務的需求去寫線上服務代碼，可用性、可靠性、一緻性等往往得不到滿足。

具體而言，實時離線分離模式建議如下幾種規範：

1. 如果離線程式需要通路線上服務，應該給離線程式單獨部署一套服務；
2. 類似于MapReduce的雲端多程序離線程式禁止直接通路線上服務；
3. 分布式系統永遠不要直接寫傳統的DBMS。

案例分析

因為違反實時離線分離模式而導緻的事故非常常見。有一次，因為一個離線程式頻繁的向Tair叢集寫資料，每一次寫10M資料，使得整個Tair叢集當機。另一次，因為Storm系統直接寫MySQL資料庫導緻資料庫連接配接數耗盡，進而使線上系統無法連接配接資料庫。

缺點和優點

為了實作實時線上分離，可能需要為線上環境和離線環境單獨部署，維護多套環境所帶來運維成本是工程師需要考慮的問題。另一方面，線上環境的資料在離線環境中可能很難擷取，這也是很多離線系統直接通路線上系統的原因。但是，遵從實時離線分離模式是一個非常重要的安全管理準則，任何違背這個準則的行為都意味着系統性安全漏洞，都會增大線上故障機率。

降級模式（Degradation Pattern）

原理和動機

降級模式是系統性能保障的最後一道防線。理論上講，不存在絕對沒有漏洞的系統，或者說，最好的安全措施就是為處于崩潰狀态的系統提供預案。從系統性能優化的角度來講，不管系統設計地多麼完善，總會有一些意料之外的情況會導緻系統性能惡化，最終可能導緻崩潰，是以對于要求高可用性的服務，在系統設計之初，就必須做好降級設計。根據作者的經驗，良好的降級方案應該包含如下措施：

1. 在設計階段，确定系統的開始惡化數值名額（例如：響應時間，記憶體使用量）；
2. 當系統開始惡化時，需要第一時間報警；
3. 在收到報警後，或者人工手動控制系統進入降級狀态，或者編寫一個智能程式讓系統自動降級；
4. 區分系統所依賴服務的必要性，一般分為：必要服務和可選服務。必要服務在降級狀态下需要提供一個快速傳回結果的權宜方案（緩存是常見的一種方案），而對于可選服務，在降級時系統果斷不調用；
5. 在系統遠離惡化情況時，需要人工恢複，或者智能程式自動更新。

典型的降級政策有三種：流量降級、效果降級和功能性降級。流量降級是指當通過主動拒絕處理部分流量的方式讓系統正常服務未降級的流量，這會造成部分使用者服務不可用；效果降級表現為服務品質的降級，即在流量高峰時期用相對低品質、低延時的服務來替換高品質、高延時的服務，保障所有使用者的服務可用性；功能性降級也表現為服務品質的降級，指的是通過減少功能的方式來提高使用者的服務可用性。效果降級和功能性降級比較接近，效果降級強調的是主功能服務品質的下降，功能性降級更多強調的是輔助性功能的缺失。做一個類比如下：計劃将100個工程師從北京送到夏威夷度假，但是預算不夠。采用流量降級政策，隻有50工程師做頭等艙去了夏威夷度假，其餘工程師繼續編寫程式（這可不好）；效果降級政策下，100個工程師都坐經濟艙去夏威夷；采用功能性降級政策，100個工程師都坐頭等艙去夏威夷，但是飛機上不提供食品和飲料。

案例分析

我們的系統大量使用了智能降級程式。在系統惡化的時候，智能降級程式自動降級部分流量，當系統恢複的時候，智能降級程式自動更新為正常狀态。在采用智能降級程式之前，因為系統降級問題，整體系統不可用的情況偶爾發生。采用智能降級程式之後，基本上沒有因為性能問題而導緻的系統整體不可用。我們的智能降級程式的主要判定政策是服務響應時間，如果出現大量長時間的響應異常或逾時異常，系統就會走降級流程，如果異常數量變少，系統就會自動恢複。

缺點和優點

為了使系統具備降級功能，需要撰寫大量的代碼，而降級代碼往往比正常業務代碼更難寫，更容易出錯，是以并不符合奧卡姆剃刀原則。在确定使用降級模式的前提下，工程師需要權衡這三種降級政策的利弊。大多數面向C端的系統傾向于采用效果降級和功能性降級政策，但是有些功能性子產品（比如下單功能）是不能進行效果和功能性降級的，隻能采用流量降級政策。對于不能接受降級後果的系統，必須要通過其他方式來提高系統的可用性。

總的來說，降級模式是一種設計安全準則，任何高可用性要求的服務，必須要按照降級模式的準則去設計。對于違背這條設計原則的系統，或早或晚，系統總會因為某些問題導緻崩潰而降低可用性。不過，降級模式并非不需要成本，也不符合最小可用原則，是以對于處于MVP階段的系統，或者對于可用性要求不高的系統，降級模式并非必須采納的原則。

其他性能優化建議

對于無法采用系統性的模式方式講解的性能優化手段，作者也給出一些總結性的建議： 1. 删除無用代碼有時候可以解決性能問題，例如：有些代碼已經不再被調用但是可能被初始化，甚至占有大量記憶體；有些代碼雖然在調用但是對于業務而言已經無用，這種調用占用CPU資源。 2. 避免跨機房調用，跨機房調用經常成為系統的性能瓶頸，特别是那些僞batch調用（在使用者看起來是一次性調用，但是内部實作采用的是順序單個調用模式）對系統性能影響往往非常巨大 。

總結

Christopher Alexander曾說過：”Each pattern describes a problem which occurs over and over again in our environment, and then describes the core of the solution to that problem, in such a way that you can use this solution a million times over, without ever doing it the same way twice” 。 盡管Christopher Alexander指的是建築模式，軟體設計模式适用，基于同樣的原因，性能優化模式也适用。每個性能優化模式描述的都是工程師們日常工作中經常出現的問題，一個性能優化模式可以解決确定場景下的某一類型的問題。是以要了解一個性能優化模式不僅僅要了解性能模式的所能解決的問題以及解決手段，還需要清楚該問題所發生的場景和需要付出的代價。

最後，本文所描述的性能優化模式隻是作者的工作經驗總結，都是為了解決由以下三種情況所造成的性能問題：1. 日益增長的使用者數量，2. 日漸複雜的業務，3. 急劇膨脹的資料，但是這些遠非該領域裡面的所有模式。對于文章中提到的其他性能優化建議，以及現在和将來可能碰到的性能問題，作者還會不斷抽象，在未來總結出更多的模式。性能問題涉及領域非常廣泛，而模式是一個非常好的講解性能問題以及解決方案的方式，作者有理由相信，無論是在作者所從事的工作領域裡面還是在其他的領域裡面，新的性能優化模式會不斷湧現。希望通過本文的講述，對碰到同樣問題的工程師們有所幫助，同時也抛磚引玉，期待出現更多的基于模式方式講解性能優化的文章。

參考文獻

[1] Chang F, Dean J, Ghemawat S, et al. Bigtable: A Distributed Storage System for Structured Data [2] Gamma E, Helm R, Johnson R, et al. Design Patterns-Elements of Reusable Object-Oriented Software. Machinery Industry, 2003 [3] Motlik F. Monolithic Core Versus Full Microservice Architecture [4] Monolithic Design WikiWikiWeb. [5] Bovet D P, Cesati M. Understanding the Linux Kernel. 3rd ed. O’Reilly Media, 2005. [6] Bloch J. Effective Java. 2nd ed. Addison-Wesley, 2008. [7] Alexander C, Ishikawa S, Silverstein M. A Pattern Language: Towns, Buildings, Construction. Oxford University Press, 1977.