天天看點

MySql分表、分庫、分片和分區的差別

一、前言

資料庫的資料量達到一定程度之後,為避免帶來系統性能上的瓶頸。需要進行資料的處理,采用的手段是分區、分片、分庫、分表。

二、分片(類似分庫)

分片是把資料庫橫向擴充(Scale Out)到多個實體節點上的一種有效的方式,其主要目的是為突破單節點資料庫伺服器的 I/O 能力限制,解決資料庫擴充性問題。Shard這個詞的意思是“碎片”。如果将一個資料庫當作一塊大玻璃,将這塊玻璃打碎,那麼每一小塊都稱為資料庫的碎片(DatabaseShard)。将整個資料庫打碎的過程就叫做分片,可以翻譯為分片。

形式上,分片可以簡單定義為将大資料庫分布到多個實體節點上的一個分區方案。每一個分區包含資料庫的某一部分,稱為一個片,分區方式可以是任意的,并不局限于傳統的水準分區和垂直分區。一個分片可以包含多個表的内容甚至可以包含多個資料庫執行個體中的内容。每個分片被放置在一個資料庫伺服器上。一個資料庫伺服器可以處理一個或多個分片的資料。系統中需要有伺服器進行查詢路由轉發,負責将查詢轉發到包含該查詢所通路資料的分片或分片集合節點上去執行。

三、Scale Out/Scale Up 和 垂直切分/水準拆分

Mysql的擴充方案包括Scale Out和Scale Up兩種。

Scale Out(橫向擴充)是指Application可以在水準方向上擴充。一般對資料中心的應用而言,Scale out指的是當添加更多的機器時,應用仍然可以很好的利用這些機器的資源來提升自己的效率進而達到很好的擴充性。

Scale Up(縱向擴充)是指Application可以在垂直方向上擴充。一般對單台機器而言,Scale Up值得是當某個計算節點(機器)添加更多的CPU Cores,儲存設備,使用更大的記憶體時,應用可以很充分的利用這些資源來提升自己的效率進而達到很好的擴充性。

MySql的Sharding政策包括垂直切分和水準切分兩種。

垂直(縱向)拆分:是指按功能子產品拆分,以解決表與表之間的io競争。比如分為訂單庫、商品庫、使用者庫...這種方式多個資料庫之間的表結構不同。

水準(橫向)拆分:将同一個表的資料進行分塊儲存到不同的資料庫中,來解決單表中資料量增長出現的壓力。這些資料庫中的表結構完全相同。

表結構設計垂直切分。常見的一些場景包括

a).大字段的垂直切分。單獨将大字段建在另外的表中,提高基礎表的通路性能,原則上在性能關鍵的應用中應當避免資料庫的大字段

b). 按照使用用途垂直切分。例如企業物料屬性,可以按照基本屬性、銷售屬性、采購屬性、生産制造屬性、财務會計屬性等用途垂直切分

c). 按照通路頻率垂直切分。例如電子商務、Web 2.0系統中,如果使用者屬性設定非常多,可以将基本、使用頻繁的屬性和不常用的屬性垂直切分開

表結構設計水準切分。常見的一些場景包括

a). 比如線上電子商務網站,訂單表資料量過大,按照年度、月度水準切分

b). Web 2.0網站注冊使用者、線上活躍使用者過多,按照使用者ID範圍等方式,将相關使用者以及該使用者緊密關聯的表做水準切分

c). 例如論壇的置頂文章,因為涉及到分頁問題,每頁都需要顯示置頂貼,這種情況可以把置頂貼水準切分開來,避免取置頂文章時從所有文章的表中讀取

四、分表和分區

分表從表面意思說就是把一張表分成多個小表,分區則是把一張表的資料分成N多個區塊,這些區塊可以在同一個磁盤上,也可以在不同的磁盤上。

分表和分區的差別

1,實作方式上

mysql的分表是真正的分表,一張表分成很多表後,每一個小表都是完正的一張表,都對應三個檔案(MyISAM引擎:一個.MYD資料檔案,.MYI索引檔案,.frm表結構檔案)。

2,資料處理上

分表後資料都是存放在分表裡,總表隻是一個外殼,存取資料發生在一個一個的分表裡面。分區則不存在分表的概念,分區隻不過把存放資料的檔案分成了許多小塊,分區後的表還是一張表,資料處理還是由自己來完成。

3,提高性能上

分表後,單表的并發能力提高了,磁盤I/O性能也提高了。分區突破了磁盤I/O瓶頸,想提高磁盤的讀寫能力,來增加mysql性能。

在這一點上,分區和分表的測重點不同,分表重點是存取資料時,如何提高mysql并發能力上;而分區呢,如何突破磁盤的讀寫能力,進而達到提高mysql性能的目的。

4,實作的難易度上

分表的方法有很多,用merge來分表,是最簡單的一種方式。這種方式和分區難易度差不多,并且對程式代碼來說可以做到透明的。如果是用其他分表方式就比分區麻煩了。分區實作是比較簡單的,建立分區表,跟建平常的表沒什麼差別,并且對代碼端來說是透明的。

分區的适用場景

  1. 一張表的查詢速度已經慢到影響使用的時候。

2.表中的資料是分段的

3.對資料的操作往往隻涉及一部分資料,而不是所有的資料

CREATE TABLE sales (

id INT AUTO_INCREMENT,

amount DOUBLE NOT NULL,

order_day DATETIME NOT NULL,

PRIMARY KEY(id, order_day)
複制代碼           

) ENGINE=Innodb

PARTITION BY RANGE(YEAR(order_day)) (

PARTITION p_2010 VALUES LESS THAN (2010),

PARTITION p_2011 VALUES LESS THAN (2011),

PARTITION p_2012 VALUES LESS THAN (2012),
複制代碼           

PARTITION p_catchall VALUES LESS THAN MAXVALUE);

分表的适用場景

2.當頻繁插入或者聯合查詢時,速度變慢。

分表的實作需要業務結合實作和遷移,較為複雜。

五、分表與分庫

分表能夠解決單表資料量過大帶來的查詢效率下降的問題,但是,卻無法給資料庫的并發處理能力帶來質的提升。面對高并發的讀寫通路,當資料庫master伺服器無法承載寫操作壓力時,不管如何擴充slave伺服器,此時都沒有意義了。是以,我們必須換一種思路,對資料庫進行拆分,進而提高資料庫寫入能力,這就是所謂的分庫。

與分表政策相似,分庫可以采用通過一個關鍵字取模的方式,來對資料通路進行路由,如下圖所示

MySql分表、分庫、分片和分區的差別

六、分區與分片差別

MySql分表、分庫、分片和分區的差別
MySql分表、分庫、分片和分區的差別

作者:經典雞翅

微信公衆号:經典雞翅

如果你想及時得到個人撰寫文章,純java的面試資料或者想看看個人推薦的技術資料,可以掃描左邊二維碼(或者長按識别二維碼)關注個人公衆号)。