大型Java web項目分布式架構演進-分布式部署

分布式​​架構​​的演進

系統架構演化曆程-初始階段架構

初始階段 的小型系統 應用程式、​​資料庫​​、檔案等所有的資源都在一台伺服器上通俗稱為LAMP

特征：

應用程式、資料庫、檔案等所有的資源都在一台伺服器上。

描述：

通常伺服器​​作業系統​​使用​​Linux​​，應用程式使用​​PHP​​開發，然後部署在Apache上，資料庫使用​​MySQL​​，彙集各種免費開源軟體以及一台廉價伺服器就可以開始系統的發展之路了。

系統架構演化曆程-應用服務和資料服務分離

好景不長，發現随着系統通路量的再度增加，webserver機器的壓力在高峰期會上升到比較高，這個時候開始考慮增加一台webserver

應用程式、資料庫、檔案分别部署在獨立的資源上。

資料量增加，單台伺服器性能及存儲空間不足，需要将應用和資料分離，并發處理能力和資料存儲空間得到了很大改善。

系統架構演化曆程-使用緩存改善性能

資料庫中通路較集中的一小部分資料存儲在緩存伺服器中，減少資料庫的通路次數，降低資料庫的通路壓力。

系統通路特點遵循二八定律，即80%的業務通路集中在20%的資料上。

緩存分為本地緩存和遠端分布式緩存，本地緩存通路速度更快但緩存資料量有限，同時存在與應用程式争用記憶體的情況。

系統架構演化曆程-使用應用伺服器叢集

在做完分庫分表這些工作後，資料庫上的壓力已經降到比較低了，又開始過着每天看着通路量暴增的幸福生活了，突然有一天，發現系統的通路又開始有變慢的趨勢了，這個時候首先檢視資料庫，壓力一切正常，之後檢視webserver，發現apache阻塞了很多的請求，而應用伺服器對每個請求也是比較快的，看來 是請求數太高導緻需要排隊等待，響應速度變慢

多台伺服器通過負載均衡同時向外部提供服務，解決單台伺服器處理能力和存儲空間上限的問題。

使用叢集是系統解決高并發、海量資料問題的常用手段。通過向叢集中追加資源，提升系統的并發處理能力，使得伺服器的負載壓力不再成為整個系統的瓶頸。

系統架構演化曆程-資料庫讀寫分離

享受了一段時間的系統通路量高速增長的幸福後，發現系統又開始變慢了，這次又是什麼狀況呢，經過查找，發現資料庫寫入、更新的這些操作的部分資料庫連接配接的資源競争非常激烈，導緻了系統變慢

使用叢集是系統解決高并發、海量資料問題的常用手段。通過向叢集中追加資源，使得伺服器的負載壓力不在成為整個系統的瓶頸。

系統架構演化曆程-反向代理和CDN加速

采用CDN和反向代理加快系統的 通路速度。

為了應付複雜的網絡環境和不同地區使用者的通路，通過CDN和反向代理加快使用者通路的速度，同時減輕後端伺服器的負載壓力。CDN與反向代理的基本原理都是緩存。

系統架構演化曆程-分布式檔案系統和分布式資料庫

随着系統的不斷運作，資料量開始大幅度增長，這個時候發現分庫後查詢仍然會有些慢，于是按照分庫的思想開始做分表的工作

資料庫采用分布式資料庫，檔案系統采用分布式檔案系統。

任何強大的單一伺服器都滿足不了大型系統持續增長的業務需求，資料庫讀寫分離随着業務的發展最終也将無法滿足需求，需要使用分布式資料庫及分布式檔案系統來支撐。

分布式資料庫是系統資料庫拆分的最後方法，隻有在單表資料規模非常龐大的時候才使用，更常用的資料庫拆分手段是業務分庫，将不同的業務資料庫部署在不同的實體伺服器上。

系統架構演化曆程-使用NoSQL和搜尋引擎

系統引入NoSQL資料庫及搜尋引擎。

随着業務越來越複雜，對資料存儲和檢索的需求也越來越複雜，系統需要采用一些非關系型資料庫如NoSQL和分資料庫查詢技術如搜尋引擎。應用伺服器通過統一資料通路子產品通路各種資料，減輕應用程式管理諸多資料源的麻煩。

系統架構演化曆程-業務拆分

系統上按照業務進行拆分改造，應用伺服器按照業務區分進行分别部署。

為了應對日益複雜的業務場景，通常使用分而治之的手段将整個系統業務分成不同的産品線，應用之間通過超連結建立關系，也可以通過消息隊列進行資料分發，當然更多的還是通過通路同一個資料存儲系統來構成一個關聯的完整系統。

縱向拆分：

将一個大應用拆分為多個小應用，如果新業務較為獨立，那麼就直接将其設計部署為一個獨立的Web應用系統

縱向拆分相對較為簡單，通過梳理業務，将較少相關的業務剝離即可。

橫向拆分：将複用的業務拆分出來，獨立部署為分布式服務，新增業務隻需要調用這些分布式服務

橫向拆分需要識别可複用的業務，設計服務接口，規範服務依賴關系。

系統架構演化曆程-分布式服務

公共的應用子產品被提取出來，部署在分布式伺服器上供應用伺服器調用。

随着業務越拆越小，應用系統整體複雜程度呈指數級上升，由于所有應用要和所有資料庫系統連接配接，最終導緻資料庫連接配接資源不足，拒絕服務。

Q：分布式服務應用會面臨哪些問題？

A：

(1) 當服務越來越多時，服務URL配置管理變得非常困難，F5硬體負載均衡器的單點壓力也越來越大。

(2) 當進一步發展，服務間依賴關系變得錯蹤複雜，甚至分不清哪個應用要在哪個應用之前啟動，架構師都不能完整的描述應用的架構關系。

(3) 接着，服務的調用量越來越大，服務的容量問題就暴露出來，這個服務需要多少機器支撐？什麼時候該加機器？

(4) 服務多了，溝通成本也開始上升，調某個服務失敗該找誰？服務的參數都有什麼約定？ 

(5) 一個服務有多個業務消費者，如何確定服務品質？

(6) 随着服務的不停更新，總有些意想不到的事發生，比如cache寫錯了導緻記憶體溢出，故障不可避免，每次核心服務一挂，影響一大片，人心慌慌，如何控制故障的影響面？服務是否可以功能降級？或者資源劣化？ 

​​Java​​分布式應用技術基礎 

分布式服務下的關鍵技術：消息隊列架構 

消息對列通過消息對象分解系統耦合性，不同子系統處理同一個消息

分布式服務下的關鍵技術：消息隊列原理 

分布式服務下的關鍵技術：服務架構架構

服務架構通過接口分解系統耦合性，不同子系統通過相同的接口描述進行服務啟用

服務架構是一個點對點模型

服務架構面向同構系統

适合：移動應用、網際網路應用、外部系統

分布式服務下的關鍵技術：服務架構原理

分布式服務下的關鍵技術：服務總線架構

服務總線同服務架構一樣，均是通過接口分解系統耦合性，不同子系統通過相同的接口描述進行服務啟用

服務總線是一個總線式的模型

服務總線面向同構、異構系統

适合：内部系統

分布式服務下的關鍵技術：服務總線原理

分布式架構下系統間互動的5種通信模式

request/response模式（同步模式）：用戶端發起請求一直阻塞到服務端傳回請求為止。

Callback（異步模式）：用戶端發送一個RPC請求給伺服器，服務端處理後再發送一個消息給消息發送端提供的callback端點，此類情況非常合适以下場景：A元件發送RPC請求給B，B處理完成後，需要通知A元件做後續處理。

Future模式：用戶端發送完請求後，繼續做自己的事情，傳回一個包含消息結果的Future對象。用戶端需要使用傳回結果時，使用Future對象的.get(),如果此時沒有結果傳回的話，會一直阻塞到有結果傳回為止。

Oneway模式：用戶端調用完繼續執行，不管接收端是否成功。

Reliable模式：為保證通信可靠，将借助于消息中心來實作消息的可靠送達，請求将做持久化存儲，在接收方線上時做送達，并由消息中心保證異常重試。

五種通信模式的實作方式-同步點對點服務模式

五種通信模式的實作方式-異步點對點消息模式1

五種通信模式的實作方式-異步點對點消息模式2

五種通信模式的實作方式-異步廣播消息模式

分布式架構下的服務治理

服務治理是服務架構/服務總線的核心功能。所謂服務治理，是指服務的提供方和消費方達成一緻的約定，保證服務的高品質。服務治理功能可以解決将某些特定流量引入某一批機器，以及限制某些非法消費者的惡意通路，并在提供者處理量達到一定程度是，拒絕接受新的通路。

基于服務架構Dubbo的服務治理-服務管理

可以知道你的系統，對外提供了多少服務，可以對服務進行更新、降級、停用、權重調整等操作

可以知道你提供的服務，誰在使用，因業務需求，可以對該消費者實施屏蔽、停用等操作

基于服務架構Dubbo的服務治理-服務監控

可以統計服務的每秒請求數、平均響應時間、調用量、峰值時間等，作為服務叢集規劃、性能調優的參考名額。

基于服務架構Dubbo的服務治理-服務路由

基于服務架構Dubbo的服務治理-服務保護

基于服務總線OSB的服務治理-功能介紹

基于服務總線OSB的服務治理

Q：Dubbo到底是神馬？

淘寶開源的高性能和透明化的RPC遠端調用服務架構

SOA服務治理方案

Q：Dubbo原理是？

-結束-

​