雲栖号資訊：【 點選檢視更多行業資訊】
在這裡您可以找到不同行業的第一手的上雲資訊，還在等什麼，快來！
導讀：本文帶你了解面向列與面向行的資料庫。
大多數資料庫系統存儲一組資料記錄，這些記錄由表中的列和行組成。字段是列和行的交集：某種類型的單個值。
屬于同一列的字段通常具有相同的資料類型。例如，如果我們定義了一個包含使用者資料的表，那麼所有的使用者名都将是相同的類型，并且屬于同一列。在邏輯上屬于同一資料記錄（通常由鍵辨別）的值的集合構成一行。
對資料庫進行分類的方法之一是按資料在磁盤上的存儲方式進行分類：按行或按列進行分類。表可以水準分區（将屬于同一行的值存儲在一起），也可以垂直分區（将屬于同一列的值存儲在一起）。圖1-2描述了這種差別：a）顯示了按列分區的值，b）顯示了按行分區的值。
面向行的資料庫的例子很多：MySQL、PostgreSQL和大多數傳統的關系資料庫。而兩個開源的、面向列資料存儲的先驅則是MonetDB和C-Store（C-Store是Vertica的開源前身）。
01 面向行的資料布局
面向行的資料庫按記錄或行來存儲資料。它的布局非常接近表格的資料表示方法，即其中每一行都具有相同的字段集合。例如，面向行的資料庫可以有效地存儲使用者條目，其中包含姓名、出生日期和電話号碼：
| ID | Name | Birth Date | Phone Number |
| 10 | John | 01 Aug 1981 | +1 111 222 333 |
| 20 | Sam | 14 Sep 1988 | +1 555 888 999 |
| 30 | Keith | 07 Jan 1984 | +1 333 444 555 |
這種方法适用于如下的場景：資料記錄（姓名、出生日期和電話号碼）由多個字段組成且由某個鍵（在本例中為單調遞增的ID）所唯一辨別。表示單個使用者的資料記錄的所有字段通常被一起讀取。在建立資料時（例如，當使用者填寫系統資料庫單時），我們也将它們一起寫入資料庫。與此同時，我們可以單獨修改某個字段。
在需要按行通路資料的情況下，面向行的存儲最有用，将整行存儲在一起可以提高空間局部性。
因為諸如磁盤之類的持久性媒體上的資料通常是按塊通路的（換句話說，磁盤通路的最小機關是塊），是以單個塊可能将包含某行中所有列的資料。
這對于我們希望通路整個使用者記錄的情況非常有用，但這樣的存儲布局會使通路多個使用者記錄某個字段的查詢（例如，隻擷取電話号碼的查詢）開銷更大，因為其他字段的資料在這個過程中也會被讀入。
02 面向列的資料布局
面向列的資料庫垂直地将資料進行分區（即通過列進行分區），而不是将其按行存儲。在這種資料存儲布局中，同一列的值被連續地存儲在磁盤上（而不是像前面的示例那樣将行連續地存儲）。
例如，如果我們要存儲股票市場的曆史價格，那麼股票價格這一列的資料便會被存儲在一起。将不同列的值存儲在不同的檔案或檔案段中，可以按列進行有效的查詢，因為它們可以一次性地被讀取出來，而不是先對整行進行讀取後再丢棄掉不需要的列。
面向列的存儲非常适合計算聚合的分析型工作負載，例如查找趨勢、計算平均值等。如果邏輯記錄具有多個字段，但是其中某些字段（在本例中為股票價格）具有不同的重要性并且該字段所存儲的資料經常被一起使用，那麼我們一般使用複雜聚合來處理這樣的情況。
從邏輯角度看，表示股票市場價格的資料仍舊可以表示為表的形式：
| ID | Symbol | Date | Price |
| 1 | DOW | 08 Aug 2018 | 24,314.65 |
| 2 | DOW | 09 Aug 2018 | 24,136.16 |
| 3 | S&P | 08 Aug 2018 | 2,414.45 |
| 4 | S&P | 09 Aug 2018 | 2,232.32 |
而列式存儲則看起來與上述存儲布局完全不同—屬于同一列的值被緊密地存儲在一起：
Symbol: 1:DOW; 2:DOW; 3:S&P; 4:S&P
Date: 1:08 Aug 2018; 2:09 Aug 2018; 3:08 Aug 2018; 4:09 Aug 2018
Price: 1:24,314.65; 2:24,136.16; 3:2,414.45; 4:2,232.32
為了重建資料元組（這對于連接配接、篩選和多行聚合可能很有用），我們需要在列級别上保留一些中繼資料，以辨別與它關聯的其他列中的資料點是哪些。如果你顯式地執行此操作，則需要每個值都必須持有一個鍵，這将導緻資料重複并增加存儲的資料量。
針對這種需求，一些列存儲使用隐式辨別符（虛拟ID），并使用該值的位置（換句話說，其偏移量）将其映射回相關值。
在過去幾年中，可能由于對不斷增長的資料集運作複雜分析查詢的需求不斷增長，我們看到了許多新的面向列的檔案格式，如Apache Parquet、Apache ORC、RCFile，以及面向列的存儲，如Apache Kudu、ClickHouse，以及許多其他列式資料存儲元件。
03 差別與優化
認為行存儲和列存儲之間的差別僅在于資料的存儲方式有所不同，這是不充分的。選擇資料布局隻是列式存儲所針對的一系列可能的優化的步驟之一。
在一次讀取中，從同一列中讀取多個值可以顯著提高緩存使用率和計算效率。在現代CPU上，向量化指令可以使單條CPU指令一次處理多個資料點。
另外，将具有相同資料類型的值存儲在一起（例如，數字與數字在一起，字元串與字元串在一起）可以提高壓縮率。我們可以根據不同的資料類型使用不同的壓縮算法，并為每種情況選擇最有效的壓縮方法。
要決定是使用面向列還是面向行的存儲，你需要了解通路模式。如果所讀取的記錄中的大多數或所有列都是需要的，并且工作負載主要由單條記錄查詢和範圍掃描組成，則面向行的存儲布局可能産生更好的結果。如果掃描跨越多行，或者在列的子集上進行計算聚合，則值得考慮使用面向列的存儲布局。
04 寬列式存儲
面向列的資料庫不應與寬列式存儲（如BigTable或HBase）相混淆。在這些資料庫中，資料表示為多元映射，列被分組為列族（通常存儲相同類型的資料），并且在每個列族中，資料被逐行存儲。此布局最适合存儲由一個鍵或一組鍵來檢索的資料。
BigTable論文中的一個典型示例是WebTable。一個WebTable存儲着一個帶有某個時間戳、包含如下資訊的快照：網頁内容、屬性以及它們之間的關系。
頁面由反向URL所辨別，并且所有屬性（如頁面内容和錨，錨表示頁面之間的連結）由生成這些快照的時間戳來辨別。簡而言之，它可以表示為一個嵌套的映射，如圖1-3所示。
資料存儲在具有層次索引的多元排序映射中：我們可以通過特定網頁的反向URL來定位與該網頁相關的資料，也可以通過時間戳來定位該網頁的内容或錨。每一行都按其行鍵進行索引。
在列族中，相關列被分組在一起（在本例中為contents和anchor），這些列族分别存儲在磁盤上。列族中的每個列都由列鍵辨別，該鍵是列族名稱和限定符（在本例中為html，cnnsi.com，my.look.ca）的組合。
列族可以按照時間戳存儲多個版本的資料。這種布局使得我們可以快速定位更高層的條目（在本例中為Web頁面）及其參數（不同版本的内容和指向其他頁面的連結）。
了解寬列式存儲的概念表示是有用的，而它們的實體布局也有所不同。列族的資料布局示意圖如圖1-4所示：列族被單獨存儲，但在每個列族中，屬于同一鍵的資料被存儲在一起。
關于作者：Alex Petrov是一位資料基礎架構工程師，資料庫和存儲系統的狂熱愛好者，Apache Cassandra 送出者和PMC成員，精通存儲、分布式系統和算法。
【雲栖号線上課堂】每天都有産品技術專家分享！
課程位址：
https://yqh.aliyun.com/zhibo立即加入社群，與專家面對面，及時了解課程最新動态！
【雲栖号線上課堂 社群】
https://c.tb.cn/F3.Z8gvnK
原文釋出時間：2020-06-14
本文作者：Alex Petrov
本文來自：“
大資料DT 微信公衆号”，了解相關資訊可以關注“
大資料DT”