天天看點

淺談SQL Server内部運作機制

        對于已經很熟悉T-SQL的讀者,或者對于較專業的DBA來說,邏輯的增删改查,或者較複雜的SQL語句,都是非常簡單的,不存在任何挑戰,不值得一提,那麼,SQL的哪些方面是他們的挑戰 或者軟肋呢?

那就是sql優化。然而,要向成為一個好的Sql優化高手,首先要做的一件事無疑就是了解sql語句在SQL Server中是如何執行的。在這一系列中,我們将開始sqlserver優化系列講解,本 講為優化系列的開篇文章,

在本篇文章中,我們将重點講解SQL Server體系結構

       在正式講解之前,我們先來看看如下問題,你是否遇到過,若你遇到過且成功解決,那麼這篇文章,你可以跳過。

       為了測試需要,我們先模拟插入5億3千多萬條資料。

SELECT COUNT(1) FROM BigDataTest      

      (一)查詢緩慢問題

         *,臨時表,表連接配接,子查詢等造成的查詢緩慢問題,你能解決嗎?

      (二)記憶體洩漏

        如下查詢了8分2秒,然後記憶體溢出,你知道問題嗎?

SELECT * FROM BigDataTest
      

     (三)經常聽說如下概念,你都能解決嗎?

        事務與鎖(請參考我另一篇文章:淺談SQL Server事務與鎖(上篇)),ACID,隔離級别,髒讀,分表分庫,水準拆分,垂直拆分,高并發等

一  SQL Server體系結構抽象

淺談SQL Server内部運作機制

 二  SQL Server體系結構概述

       SQL Server核心體系結構,大緻包括六大部分:用戶端通路工具、SQL Server 網絡接口(SQL Server Network Interface,SNI)、關系引擎、存儲引擎、

磁盤和緩沖池。下圖為SQL Server核心體系大緻輪廓圖。

淺談SQL Server内部運作機制

 (一)SQL Server用戶端通路工具

淺談SQL Server内部運作機制

      SQL Server用戶端通路工具,提供了遠端通路技術,它與SQL Server服務端基于一定的協定,使其能夠遠端通路資料庫,就像在本地操作資料庫一樣,如我們經常用的

Microsoft SQL Server Management Studio。

       SQL Server用戶端通路工具是比較多的,其中比較流行的要數Microsoft SQL Server Management Studio 和Navicat(Navicat在MySQL中也是比較常用的)了,至于其他工具,

本篇文章就不列舉了,感興趣的讀者朋友,可以查詢一下。

(二)SQL Server網絡協定

淺談SQL Server内部運作機制

       SQL Server網絡協定,又叫SQL Server網絡接口(SNI),它是構成用戶端和服務端通信的橋梁,它與SQL Server服務端基于一定協定,方可通信,

如我們在用戶端輸入一條查詢語句SELECT * FROM BigDataTest,這條語句,隻有用戶端和服務端基于一定協定,方可被服務端解析,否則,被視為無

效語句。

       SQL Server網絡協定,由一組API構成,這些API供SQL Server資料庫引擎和SQL Server本地用戶端調用,如實作最基本的CRUD通信。

       SQL Server 網絡接口(SQL Server Network Interface,SNI)隻需要在用戶端和服務端配置網絡協定即可,它支援一下協定:

     (1)共享記憶體

     (2)TCP/IP

     (3)命名管道

     (4)VIA

(三)關系引擎

淺談SQL Server内部運作機制

      關系引擎,也叫查詢引擎,其主要功能是負責處理SQL語句,其核心元件由三部分組成:指令分析器、查詢優化器和查詢執行器。

    (1)指令分析器:負責解析用戶端傳遞過來的T-SQL語句,如用戶端傳遞一條SQL語句:SELECT * FROM BigDataTest,它會檢查該語句的文法結構,若文法

錯誤,它會将錯誤傳回給協定層,然後協定層将錯誤傳回給用戶端;如果文法結構正确,它會根據查詢指令生成查詢計劃或尋找一個已存在的查詢計劃(先在緩沖池計劃緩

存中查找,若找到,則直接給查詢執行器執行,若未找到,則會生成基于T-SQL的查詢樹,然後交給查詢優化器優化)

     (2)查詢優化器:負責優化指令解析器生成的T-SQL查詢樹(基于資源的優化,而非基于時間的優化),然後将最終優化結果傳遞給查詢執行器執行。查詢優化器是基于

“資源開銷”的優化器,這種算法評估多種可執行的查詢方式,并從中選擇開銷最低的方案作為優化結果,然後将該結果生成查詢計劃輸出給查詢執行器。注意,查詢優化器是

“基于資源開銷最優”而非“基于方案最優”,也就是,查詢優化器的最終優化結果未必是最好的方案,但一定是資源開銷最低的方案。

     (3)查詢執行器:負責執行查詢。假若查詢執行器接收到指令解析器或查詢優化器傳遞過來的SQL語句:SELECT * FROM BigDataTest,它通過OLE DB接口傳遞到存儲

引擎,再傳遞到存儲引擎的通路方法。

(四)存儲引擎

淺談SQL Server内部運作機制

        存儲引擎,本質就是管理資源存儲的,它的核心元件包括三部分:通路方法、事務管理器和緩沖區管理器。     

      (1)通路方法:通路方法本質是一個接口,供查詢執行器調用(該接口提供了所有檢索資料的代碼,接口的實際執行是由緩沖區管理器來執行的),假若查詢執行器傳遞一條SQL語句:

SELECT * FROM BigDataTest,通路方法接收到該請求指令後,就會調用緩沖區管理器,緩沖區管理器就會調用緩沖池的計劃緩存,在計劃緩存中尋找到相應的結果集,然後傳回給關系

引擎。

       (2)緩沖區管理器:供通路方法調用,管理緩沖池,在緩沖池中查詢相應資源并傳回結果集,供通路方法傳回給關系引擎。   

       (3)事務管理器:主要負責事務的管理(ACID管理)和高并發管理(鎖),它包括兩個核心元件(日志管理器和鎖管理器),鎖管理器負責提供并發資料通路,設定隔離級别等;日志管理器負責

記錄所有通路方法操作動作,如基本的CRUD。

(五)緩沖池

淺談SQL Server内部運作機制

       緩沖池駐于記憶體中,是磁盤和緩沖區管理器的橋梁SQL Server中,所有資源的查詢都是在記憶體中進行的,即在緩沖池中進行的,假若緩沖池

接收到緩沖區管理器傳遞過來的的一條SQL語句:SELECT * FROM BigDataTest,緩沖區管理器資料緩存先從磁盤資料庫中取滿足條件的結果集,

然後放在緩沖池資料緩沖中,然後以結果集的形式傳回給緩沖區管理器,供通路方法傳回給關系引擎的查詢執行器,然後傳回給協定層,協定層再

傳回給用戶端。注意,這裡操作的是緩沖池中資料,而不是磁盤DB中的資料,并且操作的緩沖池資料不會立即寫入磁盤,是以就會造成查詢到結果

與BD中的結果不一緻,這就是所謂的髒讀。

        緩沖池主要包括兩部分:計劃緩存(生成執行計劃是非常耗時耗資源的,計劃緩存主要用來存儲執行計劃,以備後續使用)和資料緩存(通常是緩存池

中容量最大的,消耗記憶體最大,從磁盤中讀取的資料頁隻要放在這裡,方可調用)

(六)磁盤

淺談SQL Server内部運作機制

           磁盤主要是用來存儲持久化資源的,如日志資源,資料庫資源和緩存池持久化支援等。

三  一個查詢的完整流程

       如下為一個比較完善的查詢過程,即第二部分查詢語句:SELECT * FROM BigDataTest 整個過程。

淺談SQL Server内部運作機制

四  參考文獻

【01】《SQL Server 2012 深入解析與性能優化 第3版》Christian Bolton,Justin Langford,Glenn Berry,Gavin Payne,Amit Banerjee,Rob Farley著

五  版權區

  • 感謝您的閱讀,若有不足之處,歡迎指教,共同學習、共同進步。
  • 部落客網址:http://www.cnblogs.com/wangjiming/。
  • 極少部分文章利用讀書、參考、引用、抄襲、複制和粘貼等多種方式整合而成的,大部分為原創。
  • 如您喜歡,麻煩推薦一下;如您有新想法,歡迎提出,郵箱:[email protected]
  • 可以轉載該部落格,但必須著名部落格來源。

繼續閱讀