Mysql日常調優

本文将針對如下幾個方面來進行調優：

• 實體層面
• 系統層面
• 架構層面
• 應用層面
• MySQL本身調優

實體層面

• 磁盤做RIad0、Riad5或者直接使用SSD閃存增加磁盤讀寫速度
• CPU方面選用高主頻U
• 增加記憶體

系統層面

• 優化系統核心; 優化網絡等
• 可以重新挂載磁盤，并加上noatime參數，可以減少磁盤的i/o

架構層面

• 主從同步；一主多從
• 讀寫分離
• 分庫分表

應用層面

• 通過檢視慢查詢日志, 優化SQL語句
• 增加表字段索引

MySQL本身調優

• 如果未配置主從同步，可以把bin-log功能關閉，減少磁盤i/o
• 在my.cnf中加上skip-name-resolve,可以避免由于解析主機名延遲造成mysql執行慢
• 調整關鍵的buffer和cache參數

關鍵參數調整詳情

• key_buffer_size

  首先可以根據系統的記憶體大小設定它，大概的一個參考值：1G以下記憶體設定128M；2G/256M; 4G/384M;8G/1024M；16G/2048M.這個值可以通過檢查狀态值Key_read_requests和 Key_reads,可以知道key_buffer_size設定是否合理。比例key_reads / key_read_requests應該盡可能的低，至少是1:100，1:1000更好(上述狀态值可以使用SHOW STATUS LIKE ‘key_read%’獲得)。注意：該參數值設定的過大反而會是伺服器整體效率降低!

  • table_open_cache

    打開一個表的時候，會臨時把表裡面的資料放到這部分記憶體中，一般設定成1024就夠了，它的大小我們可以通過這樣的方法來衡量： 如果你發現 open_tables等于table_cache，并且opened_tables在不斷增長，那麼你就需要增加table_cache的值了(上述狀态值可以使用SHOW STATUS LIKE ‘Open%tables’獲得)。注意，不能盲目地把table_cache設定成很大的值。如果設定得太高，可能會造成檔案描述符不足，進而造成性能不穩定或者連接配接失敗

  • sort_buffer_size

    查詢排序時所能使用的緩沖區大小,該參數對應的配置設定記憶體是每連接配接獨占!如果有100個連接配接，那麼實際配置設定的總共排序緩沖區大小為100 × 4 = 400MB。是以，對于記憶體在4GB左右的伺服器推薦設定為4-8M

  • read_buffer_size

    讀查詢操作所能使用的緩沖區大小。和sort_buffer_size一樣，該參數對應的配置設定記憶體也是每連接配接獨享!

  • join_buffer_size

    聯合查詢操作所能使用的緩沖區大小，和sort_buffer_size一樣，該參數對應的配置設定記憶體也是每連接配接獨享!

  • myisam_sort_buffer_size

    這個緩沖區主要用于修複表過程中排序索引使用的記憶體或者是建立索引時排序索引用到的記憶體大小，一般4G記憶體給64M即可

  • query_cache_size

    MySQL查詢操作緩沖區的大小，通過以下做法調整：SHOW STATUS LIKE ‘Qcache%’; 如果Qcache_lowmem_prunes該參數記錄有多少條查詢因為記憶體不足而被移除出查詢緩存。通過這個值，使用者可以适當的調整緩存大小。如果該值非常大，則表明經常出現緩沖不夠的情況，需要增加緩存大小;Qcache_free_memory:查詢緩存的記憶體大小，通過這個參數可以很清晰的知道目前系統的查詢記憶體是否夠用，是多了，還是不夠用，我們可以根據實際情況做出調整。一般情況下4G記憶體設定64M足夠了

  • thread_cache_size

    表示可以重新利用儲存在緩存中線程的數，參考如下值：1G —> 8 2G —> 16 3G —> 32 >3G —> 64

    除此之外，還有幾個比較關鍵的參數

  • thread_concurrency

    這個值設定為cpu核數的2倍即可

  • wait_timeout

    表示空閑的連接配接逾時時間，預設是28800s，這個參數是和interactive_timeout一起使用的，也就是說要想讓wait_timeout 生效，必須同時設定interactive_timeout，建議他們兩個都設定為10

  • max_connect_errors

    是一個MySQL中與安全有關的計數器值，它負責阻止過多嘗試失敗的用戶端以防止暴力破解密碼的情況。與性能并無太大關系。為了避免一些錯誤我們一般都設定比較大，比如說10000

  • max_connections

    最大的連接配接數，根據業務請求量适當調整，設定500足夠

  • max_user_connections

    是指同一個賬号能夠同時連接配接到mysql服務的最大連接配接數。設定為0表示不限制。通常我們設定為100足夠

my.cnf配置檔案

代碼詳情，如下：

[client]  
port =   
socket = /tmp/mysql.sock  
[mysqld]  
port =   
socket = /tmp/mysql.sock  
basedir = /usr/local/mysql  
datadir = /data/mysql  
pid-file = /data/mysql/mysql.pid  
user = mysql  
bind-address =   
server-id =  #表示是本機的序号為,一般來講就是master的意思  
skip-name-resolve  
# 禁止MySQL對外部連接配接進行DNS解析，使用這一選項可以消除MySQL進行DNS解析的時間。但需要注意，如果開啟該選項，  
# 則所有遠端主機連接配接授權都要使用IP位址方式，否則MySQL将無法正常處理連接配接請求  
#skip-networking  
back_log =   
# MySQL能有的連接配接數量。當主要MySQL線程在一個很短時間内得到非常多的連接配接請求，這就起作用，  
# 然後主線程花些時間(盡管很短)檢查連接配接并且啟動一個新線程。back_log值指出在MySQL暫時停止回答新請求之前的短時間内多少個請求可以被存在堆棧中。  
# 如果期望在一個短時間内有很多連接配接，你需要增加它。也就是說，如果MySQL的連接配接資料達到max_connections時，新來的請求将會被存在堆棧中，  
# 以等待某一連接配接釋放資源，該堆棧的數量即back_log，如果等待連接配接的數量超過back_log，将不被授予連接配接資源。  
# 另外，這值（back_log）限于您的作業系統對到來的TCP/IP連接配接的偵聽隊列的大小。  
# 你的作業系統在這個隊列大小上有它自己的限制（可以檢查你的OS文檔找出這個變量的最大值），試圖設定back_log高于你的作業系統的限制将是無效的。  
max_connections =   
# MySQL的最大連接配接數，如果伺服器的并發連接配接請求量比較大，建議調高此值，以增加并行連接配接數量，當然這建立在機器能支撐的情況下，因為如果連接配接數越多，介于MySQL會為每個連接配接提供連接配接緩沖區，就會開銷越多的記憶體，是以要适當調整該值，不能盲目提高設值。可以過'conn%'通配符檢視目前狀态的連接配接數量，以定奪該值的大小。  
max_connect_errors =   
# 對于同一主機，如果有超出該參數值個數的中斷錯誤連接配接，則該主機将被禁止連接配接。如需對該主機進行解禁，執行：FLUSH HOST。  
open_files_limit =   
# MySQL打開的檔案描述符限制，預設最小1024;當open_files_limit沒有被配置的時候，比較max_connections*5和ulimit -n的值，哪個大用哪個，  
# 當open_file_limit被配置的時候，比較open_files_limit和max_connections*5的值，哪個大用哪個。  
table_open_cache =   
# MySQL每打開一個表，都會讀入一些資料到table_open_cache緩存中，當MySQL在這個緩存中找不到相應資訊時，才會去磁盤上讀取。預設值64  
# 假定系統有200個并發連接配接，則需将此參數設定為200*N(N為每個連接配接所需的檔案描述符數目)；  
# 當把table_open_cache設定為很大時，如果系統處理不了那麼多檔案描述符，那麼就會出現用戶端失效，連接配接不上  
max_allowed_packet = M  
# 接受的資料包大小；增加該變量的值十分安全，這是因為僅當需要時才會配置設定額外記憶體。例如，僅當你發出長查詢或MySQLd必須傳回大的結果行時MySQLd才會配置設定更多記憶體。  
# 該變量之是以取較小預設值是一種預防措施，以捕獲用戶端和伺服器之間的錯誤資訊包，并確定不會因偶然使用大的資訊包而導緻記憶體溢出。  
binlog_cache_size = M      
# 一個事務，在沒有送出的時候，産生的日志，記錄到Cache中；等到事務送出需要送出的時候，則把日志持久化到磁盤。預設binlog_cache_size大小32K  
max_heap_table_size = M  
# 定義了使用者可以建立的記憶體表(memory table)的大小。這個值用來計算記憶體表的最大行數值。這個變量支援動态改變  
tmp_table_size = M  
# MySQL的heap（堆積）表緩沖大小。所有聯合在一個DML指令内完成，并且大多數聯合甚至可以不用臨時表即可以完成。  
# 大多數臨時表是基于記憶體的(HEAP)表。具有大的記錄長度的臨時表 (所有列的長度的和)或包含BLOB列的表存儲在硬碟上。  
# 如果某個内部heap（堆積）表大小超過tmp_table_size，MySQL可以根據需要自動将記憶體中的heap表改為基于硬碟的MyISAM表。還可以通過設定tmp_table_size選項來增加臨時表的大小。也就是說，如果調高該值，MySQL同時将增加heap表的大小，可達到提高聯接查詢速度的效果  
read_buffer_size = M  
# MySQL讀入緩沖區大小。對表進行順序掃描的請求将配置設定一個讀入緩沖區，MySQL會為它配置設定一段記憶體緩沖區。read_buffer_size變量控制這一緩沖區的大小。  
# 如果對表的順序掃描請求非常頻繁，并且你認為頻繁掃描進行得太慢，可以通過增加該變量值以及記憶體緩沖區大小提高其性能  
read_rnd_buffer_size = M  
# MySQL的随機讀緩沖區大小。當按任意順序讀取行時(例如，按照排序順序)，将配置設定一個随機讀緩存區。進行排序查詢時，  
# MySQL會首先掃描一遍該緩沖，以避免磁盤搜尋，提高查詢速度，如果需要排序大量資料，可适當調高該值。但MySQL會為每個客戶連接配接發放該緩沖空間，是以應盡量适當設定該值，以避免記憶體開銷過大  
sort_buffer_size = M  
# MySQL執行排序使用的緩沖大小。如果想要增加ORDER BY的速度，首先看是否可以讓MySQL使用索引而不是額外的排序階段。  
# 如果不能，可以嘗試增加sort_buffer_size變量的大小  
join_buffer_size = M  
# 聯合查詢操作所能使用的緩沖區大小，和sort_buffer_size一樣，該參數對應的配置設定記憶體也是每連接配接獨享  
thread_cache_size =   
# 這個值（預設8）表示可以重新利用儲存在緩存中線程的數量，當斷開連接配接時如果緩存中還有空間，那麼用戶端的線程将被放到緩存中，  
# 如果線程重新被請求，那麼請求将從緩存中讀取,如果緩存中是空的或者是新的請求，那麼這個線程将被重新建立,如果有很多新的線程，  
# 增加這個值可以改善系統性能.通過比較Connections和Threads_created狀态的變量，可以看到這個變量的作用。(–>表示要調整的值)  
# 根據實體記憶體設定規則如下：  
# 1G  —> 8  
# 2G  —> 16  
# 3G  —> 32  
# 大于3G  —> 64  
query_cache_size = M  
#MySQL的查詢緩沖大小（從4.0.1開始，MySQL提供了查詢緩沖機制）使用查詢緩沖，MySQL将SELECT語句和查詢結果存放在緩沖區中，  
# 今後對于同樣的SELECT語句（區分大小寫），将直接從緩沖區中讀取結果。根據MySQL使用者手冊，使用查詢緩沖最多可以達到238%的效率。  
# 通過檢查狀态值'Qcache_%'，可以知道query_cache_size設定是否合理：如果Qcache_lowmem_prunes的值非常大，則表明經常出現緩沖不夠的情況，  
# 如果Qcache_hits的值也非常大，則表明查詢緩沖使用非常頻繁，此時需要增加緩沖大小；如果Qcache_hits的值不大，則表明你的查詢重複率很低，  
# 這種情況下使用查詢緩沖反而會影響效率，那麼可以考慮不用查詢緩沖。此外，在SELECT語句中加入SQL_NO_CACHE可以明确表示不使用查詢緩沖  
query_cache_limit = M  
#指定單個查詢能夠使用的緩沖區大小，預設1M  
key_buffer_size = M  
#指定用于索引的緩沖區大小，增加它可得到更好處理的索引(對所有讀和多重寫)，到你能負擔得起那樣多。如果你使它太大，  
# 系統将開始換頁并且真的變慢了。對于記憶體在4GB左右的伺服器該參數可設定為384M或512M。通過檢查狀态值Key_read_requests和Key_reads，  
# 可以知道key_buffer_size設定是否合理。比例key_reads/key_read_requests應該盡可能的低，  
# 至少是1:100，1:1000更好(上述狀态值可以使用SHOW STATUS LIKE 'key_read%'獲得)。注意：該參數值設定的過大反而會是伺服器整體效率降低  
ft_min_word_len =   
# 分詞詞彙最小長度，預設4  
transaction_isolation = REPEATABLE-READ  
# MySQL支援4種事務隔離級别，他們分别是：  
# READ-UNCOMMITTED, READ-COMMITTED, REPEATABLE-READ, SERIALIZABLE.  
# 如沒有指定，MySQL預設采用的是REPEATABLE-READ，ORACLE預設的是READ-COMMITTED  
log_bin = mysql-bin  
binlog_format = mixed  
expire_logs_days =  #超過天的binlog删除  
log_error = /data/mysql/mysql-error.log #錯誤日志路徑  
slow_query_log =   
long_query_time =  #慢查詢時間 超過秒則為慢查詢  
slow_query_log_file = /data/mysql/mysql-slow.log  
performance_schema =   
explicit_defaults_for_timestamp  
#lower_case_table_names = 1 #不區分大小寫  
skip-external-locking #MySQL選項以避免外部鎖定。該選項預設開啟  
default-storage-engine = InnoDB #預設存儲引擎  
innodb_file_per_table =   
# InnoDB為獨立表空間模式，每個資料庫的每個表都會生成一個資料空間  
# 獨立表空間優點：  
# 1．每個表都有自已獨立的表空間。  
# 2．每個表的資料和索引都會存在自已的表空間中。  
# 3．可以實作單表在不同的資料庫中移動。  
# 4．空間可以回收（除drop table操作處，表空不能自已回收）  
# 缺點：  
# 單表增加過大，如超過100G  
# 結論：  
# 共享表空間在Insert操作上少有優勢。其它都沒獨立表空間表現好。當啟用獨立表空間時，請合理調整：innodb_open_files  
innodb_open_files =   
# 限制Innodb能打開的表的資料，如果庫裡的表特别多的情況，請增加這個。這個值預設是300  
innodb_buffer_pool_size = M  
# InnoDB使用一個緩沖池來儲存索引和原始資料, 不像MyISAM.  
# 這裡你設定越大,你在存取表裡面資料時所需要的磁盤I/O越少.  
# 在一個獨立使用的資料庫伺服器上,你可以設定這個變量到伺服器實體記憶體大小的80%  
# 不要設定過大,否則,由于實體記憶體的競争可能導緻作業系統的換頁颠簸.  
# 注意在32位系統上你每個程序可能被限制在 2-3.5G 使用者層面記憶體限制,  
# 是以不要設定的太高.  
innodb_write_io_threads =   
innodb_read_io_threads =   
# innodb使用背景線程處理資料頁上的讀寫 I/O(輸入輸出)請求,根據你的 CPU 核數來更改,預設是4  
# 注:這兩個參數不支援動态改變,需要把該參數加入到my.cnf裡，修改完後重新開機MySQL服務,允許值的範圍從 1-64  
innodb_thread_concurrency =   
# 預設設定為 0,表示不限制并發數，這裡推薦設定為0，更好去發揮CPU多核處理能力，提高并發量  
innodb_purge_threads =   
# InnoDB中的清除操作是一類定期回收無用資料的操作。在之前的幾個版本中，清除操作是主線程的一部分，這意味着運作時它可能會堵塞其它的資料庫操作。  
# 從MySQL5.5.X版本開始，該操作運作于獨立的線程中,并支援更多的并發數。使用者可通過設定innodb_purge_threads配置參數來選擇清除操作是否使用單  
# 獨線程,預設情況下參數設定為0(不使用單獨線程),設定為 1 時表示使用單獨的清除線程。建議為1  
innodb_flush_log_at_trx_commit =   
# 0：如果innodb_flush_log_at_trx_commit的值為0,log buffer每秒就會被刷寫日志檔案到磁盤，送出事務的時候不做任何操作（執行是由mysql的master thread線程來執行的。  
# 主線程中每秒會将重做日志緩沖寫入磁盤的重做日志檔案(REDO LOG)中。不論事務是否已經送出）預設的日志檔案是ib_logfile0,ib_logfile1  
# 1：當設為預設值1的時候，每次送出事務的時候，都會将log buffer刷寫到日志。  
# 2：如果設為2,每次送出事務都會寫日志，但并不會執行刷的操作。每秒定時會刷到日志檔案。要注意的是，并不能保證100%每秒一定都會刷到磁盤，這要取決于程序的排程。  
# 每次事務送出的時候将資料寫入事務日志，而這裡的寫入僅是調用了檔案系統的寫入操作，而檔案系統是有 緩存的，是以這個寫入并不能保證資料已經寫入到實體磁盤  
# 預設值1是為了保證完整的ACID。當然，你可以将這個配置項設為1以外的值來換取更高的性能，但是在系統崩潰的時候，你将會丢失1秒的資料。  
# 設為0的話，mysqld程序崩潰的時候，就會丢失最後1秒的事務。設為2,隻有在作業系統崩潰或者斷電的時候才會丢失最後1秒的資料。InnoDB在做恢複的時候會忽略這個值。  
# 總結  
# 設為1當然是最安全的，但性能頁是最差的（相對其他兩個參數而言，但不是不能接受）。如果對資料一緻性和完整性要求不高，完全可以設為2，如果隻最求性能，例如高并發寫的日志伺服器，設為0來獲得更高性能  
innodb_log_buffer_size = M  
# 此參數确定些日志檔案所用的記憶體大小，以M為機關。緩沖區更大能提高性能，但意外的故障将會丢失資料。MySQL開發人員建議設定為1－8M之間  
innodb_log_file_size = M  
# 此參數确定資料日志檔案的大小，更大的設定可以提高性能，但也會增加恢複故障資料庫所需的時間  
innodb_log_files_in_group =   
# 為提高性能，MySQL可以以循環方式将日志檔案寫到多個檔案。推薦設定為3  
innodb_max_dirty_pages_pct =   
# innodb主線程重新整理緩存池中的資料，使髒資料比例小于90%  
innodb_lock_wait_timeout =    
# InnoDB事務在被復原之前可以等待一個鎖定的逾時秒數。InnoDB在它自己的鎖定表中自動檢測事務死鎖并且復原事務。InnoDB用LOCK TABLES語句注意到鎖定設定。預設值是50秒  
bulk_insert_buffer_size = M  
# 批量插入緩存大小， 這個參數是針對MyISAM存儲引擎來說的。适用于在一次性插入100-1000+條記錄時， 提高效率。預設值是8M。可以針對資料量的大小，翻倍增加。  
myisam_sort_buffer_size = M  
# MyISAM設定恢複表之時使用的緩沖區的尺寸，當在REPAIR TABLE或用CREATE INDEX建立索引或ALTER TABLE過程中排序 MyISAM索引配置設定的緩沖區  
myisam_max_sort_file_size = G  
# 如果臨時檔案會變得超過索引，不要使用快速排序索引方法來建立一個索引。注釋：這個參數以位元組的形式給出  
myisam_repair_threads =   
# 如果該值大于1，在Repair by sorting過程中并行建立MyISAM表索引(每個索引在自己的線程内)   
interactive_timeout =   
# 伺服器關閉互動式連接配接前等待活動的秒數。互動式用戶端定義為在mysql_real_connect()中使用CLIENT_INTERACTIVE選項的用戶端。預設值：28800秒（8小時）  
wait_timeout =   
# 伺服器關閉非互動連接配接之前等待活動的秒數。線上程啟動時，根據全局wait_timeout值或全局interactive_timeout值初始化會話wait_timeout值，  
# 取決于用戶端類型(由mysql_real_connect()的連接配接選項CLIENT_INTERACTIVE定義)。參數預設值：28800秒（8小時）  
# MySQL伺服器所支援的最大連接配接數是有上限的，因為每個連接配接的建立都會消耗記憶體，是以我們希望用戶端在連接配接到MySQL Server處理完相應的操作後，  
# 應該斷開連接配接并釋放占用的記憶體。如果你的MySQL Server有大量的閑置連接配接，他們不僅會白白消耗記憶體，而且如果連接配接一直在累加而不斷開，  
# 最終肯定會達到MySQL Server的連接配接上限數，這會報'too many connections'的錯誤。對于wait_timeout的值設定，應該根據系統的運作情況來判斷。  
# 在系統運作一段時間後，可以通過show processlist指令檢視目前系統的連接配接狀态，如果發現有大量的sleep狀态的連接配接程序，則說明該參數設定的過大，  
# 可以進行适當的調整小些。要同時設定interactive_timeout和wait_timeout才會生效。  
[mysqldump]  
quick  
max_allowed_packet = M #伺服器發送和接受的最大包長度  
[myisamchk]  
key_buffer_size = M  
sort_buffer_size = M  
read_buffer = M  
write_buffer = M  
           

• 關于 my.cnf 配置檔案說明，參考 這兒[1],
• 關于 Mysql 官網，參考 這兒[2].