天天看點

MySQL實戰 -1 基本架構

1、基本架構

下面介紹一下MySQL的基本架構示意圖,引用丁奇大神的傑作。

MySQL實戰 -1 基本架構

MySQL 可以分為Server層和存儲引擎層兩個部分。

1 、用戶端

用來跟連接配接器建立連接配接的應用程式。

2 、 Server層

  • Server層包括連接配接器、查詢緩存、分析器、優化器、執行器等,包涵所有MySQL的大多數核心服務功能,以及所有的内置函數(日期、時間、數學、和加密函數),所有跨存儲引擎的功能都在這一層實作,比如存儲過程、觸發器、視圖等。
  • 存儲引擎負責資料的存儲和提取。其架構是插件式的,支援InnoDB、MyISAM、Memory等多個存儲引擎。從MySQL5.5.5版本以後InnoDB為預設存儲引擎。你在create table 建表時,若不指定引擎類型,預設就是InnoDB引擎。若想指定存儲引擎,通過engine=memory 方式指定。不同的存儲引擎卻共用一個Server層 ,它是從連接配接器到執行器的部分。

    3 、連接配接器

    你連接配接資料庫就需要通過連接配接器,與用戶端建立連接配接、擷取權限

    權限、維持和管理連接配接。

    eg.1

mysql -h$ip - P$port -u$root -p

輸完指令之後,你就需要輸入密碼就可以登入,也可以在p參數後直接跟密碼,但這樣你就想密碼暴露了,所有不建議這麼做。

連接配接指令行中mysql就是用戶端工具,用來跟伺服器建立連接配接。在完成經典TCP握手後,連接配接器就要開始通過使用者名和密碼來驗證你的身份。若使用者名和密碼不對,就會收到一個“Access denied for user”的錯誤,然後用戶端程式結束執行。若認證通過,連接配接器會到權限表裡查出你所擁有的權限。之後這個連接配接裡的權限判斷邏輯,都将依賴于此時讀到的權限。

這就意味着,一個使用者建立連接配接後,即使你用管理者賬号對這個使用者的權限做了修改,也不會影響已經存在連接配接的權限。

連接配接完成之後,如果你沒有後續的動作,這個連接配接就處于空閑狀态,你可以在show processlist 指令中看到它。下圖是該指令顯示的結果,其中Command 列顯示為Sleep 這一行在系統中有一個空閑連接配接。

MySQL實戰 -1 基本架構

用戶端如果長時間沒進行操作,連接配接器就會自動将其斷開。這個時間參數為wait_timeout進行控制的,預設為8小時。

如果在連接配接被斷開之後,用戶端再次發送請求的話,就會收到一個錯誤提醒:lost connection to MySQL server during query,這時如果你要繼續,就需要重連,然後再執行請求。

資料庫裡面,長連接配接是指連接配接成功後,如果用戶端持續有請求,則一直使用同一個連接配接。短連接配接則是指每次執行完很少得幾次查詢就斷開連接配接,下次查詢在重建立立一個。建立連接配接的過程通常是比較複雜的,盡量減少建立連接配接的動作,也就是盡量使用長連接配接。

但是全部使用長連接配接後,你可能會發現,有時候MySQL占用記憶體漲的特别快,這是因為MySQL 在執行過程中臨時使用記憶體是管理在連接配接對象裡面的。這些資源會在連接配接斷開的時候才釋放。是以如果連接配接積累下來,可能導緻記憶體占用太大,被系統強行殺掉(OOM),從現象看就是MySQL異常重新開機了。

怎麼解決MySQL占用記憶體過多資源?

  • 1、定期斷開長連接配接。使用一段時間,或者程式裡判斷執行一個占記憶體的大查詢後,斷開連接配接,之後要查詢再重連接配接。
  • 2、如果你用MySQL 5.7或者更新的版本,可以在每次執行一個比較大的操作後,通過執行mysql_connection來重新初始化連接配接資源。這個過程不需要重連和重新做權限驗證,但是會将連接配接恢複到剛剛建立完時的狀态。

    4、查詢緩存

    連接配接建立完成後,就可以進行查詢select語句。執行邏輯就會來到第二步:查詢緩存。

    MySQL 拿到一個查詢請求後,會先到查詢緩存看看,之前是不是執行這條語句。之前執行過的語句及結果可能會以key-value對形式,被直接緩存在記憶體中。key是查詢的語句,value是查詢的結果。如果你的查詢能夠直接在這個緩存中找到key,那麼這個value就會被直接傳回給用戶端。

    如果語句不在查詢緩存中,就會繼續後面的執行階段。執行完成後,執行結果會被存入查詢緩存中。你可以看到,如果查詢命中緩存,MySQL不需要執行後面的複雜操作,就可以直接傳回結果,這個效率會很高。

    但是大多數情況下我會建議你不要使用查詢緩存,為什麼呢?因為查詢緩存往往弊大于利。

    查詢緩存的失效非常頻繁,隻要對一個表的更新,這個表上所有的查詢緩存都會被清空。

    好在MySQL也提供了這種’‘按需使用’'的方式。你可以将參數query_cache_type設定成demand ,這樣對于預設的SQL語句都不使用查詢緩存。而對于你确認要使用查詢緩存的語句,可以用SQL_cache顯示指定,像下面的語句一樣:

mysql> select SQL_CACHE * from T where ID=10;

需要注意的是,MySQL8.0版本直接将查詢緩存的整塊功能删掉,也就是8.0開始徹底沒有這個功能。

5、分析器

如果沒有命中查詢緩存,就要開始真正執行語句,首先在查詢前,MySQL需要知道你要做什麼,是以需要對SQL語句進行語句解析。

分析器先會做詞法分析,你所輸入的SQL語句是由多個字元串和空格組成,MySQL需要識别這些字元串分别是什麼,代表什麼意思。

MySQL從你輸入的select這個關鍵字識别出來,這是一個查詢語句。它要把字元串"T"識别成表名’‘T’’ ,把字元串"ID"識别成’‘列ID’’ 。

mysql> elect * from t where ID=1;

ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near ‘elect * from t where ID=1’ at line 1

一般文法錯誤會提示第一個出現錯誤的位置,是以你要關注的就是緊接"use near"的内容。

6、優化器

經過了分析器,MySQL就知道你要做什麼了。在開始執行之前,還要經過優化器處理。

優化器是在表裡有很多個索引的時候,決定使用哪個索引;或者在一個語句有多表關聯(join)的時候,決定各個表的連接配接順序。比如你執行下面這樣的語句,這個語句是執行兩個表的join:

mysql> select * from t1 join t2 using(ID) where t1.c=10 and t2.d=20;
  • 既可以先從表t1裡面取出c=10的記錄的ID值,在根據ID值關聯到表t2,再判斷t2裡面的d的值是否等于20。
  • 也可以先從表t2裡面取出d=20的記錄的ID值,再根據ID值關聯到t1,在判斷t1裡面的c的值是否等于10。
MySQL實戰 -1 基本架構

這兩種執行方法的邏輯結果是一樣的,但是執行的效率會有不同,而優化器的作用就是決定選擇使用哪一個方案。

優化器階段完成後,這個語句的執行方案就确定下來了,然後進入執行器階段。如果你還有一些疑問,比如優化器是怎麼選擇的,有沒有可能選擇錯等等。

7、執行器

MySQL通過分析器知道了你要做什麼,通過優化器知道了該怎麼做,于是就進入了執行器階段。

開始執行的時候,要先判斷一下你對這個表T是否有執行查詢的權限,如果沒有,就會傳回沒去權限的錯誤,如下所示。

mysql> select * from T where ID=10;

ERROR 1142 (42000): SELECT command denied to user ‘b’@‘localhost’ for table ‘T’

如果有權限,就打開表繼續執行。當打開表的時候,執行器就會根據表的引擎定義,去使用這個引擎提供的接口。

比如我們這個例子中的表T中,ID字段沒有索引,那麼執行流程是這樣的:

  • 1、調用InnoDB引擎接口取這個表的第一行,判斷ID值是不是10,如果不是則跳過,如果是則将這行結果集中;
  • 2、調用引擎接口取"下一行",重複相同的判斷邏輯,直到取到這個表的最後一行。
  • 3、執行器将上述周遊過程中所有滿足條件的行組成的記錄集作為結果傳回給用戶端。

    至此,這個執行語句就執行結束。

    對于有索引的表,執行的邏輯也差不多。第一次調用的是"取滿足條件的第一行"這個接口,之後循環取"滿足條件的下一行"這個接口,這些接口都是引擎中已經定義好的。

    你會在資料庫的慢查詢日志中看到一個 rows_examined的字段,表示這個語句執行過程中掃描了多少行。這個值就是在執行器每次調用引擎擷取資料行的時候累加的。

    在有些場景下,執行器調用一次,在引擎獲内部則掃描了多少行,是以引擎描行數跟rows_examined 并不是完全相同的。

    問題

    如果表T中沒有字段K,而你執行了這個語句 select * from T where k=1 , 那肯定會報"不存在"錯誤:"Unknown column ‘k’ in ‘where clause’ "。

    解:

    是分析器

繼續閱讀