MariaDB Galera Cluster实现mariadb的多主复制

一、MariaDB Galera Cluster概要：

1.简述：

MariaDB Galera Cluster 是一套在mysql innodb存储引擎上面实现multi-master及数据实时同步的系统架构，业务层面无需做读写分离工作，数据库读写压力都能按照既定的规则分发到各个节点上去。在数据方面完全兼容 MariaDB 和 MySQL。

2.特性：

(1).同步复制 Synchronous replication

(2).Active-active multi-master 拓扑逻辑

(3).可对集群中任一节点进行数据读写

(4).自动成员控制，故障节点自动从集群中移除

(5).自动节点加入

(6).真正并行的复制，基于行级

(7).直接客户端连接，原生的 MySQL 接口

(8).每个节点都包含完整的数据副本

(9).多台数据库中数据同步由 wsrep 接口实现

3.局限性

(1).目前的复制仅仅支持InnoDB存储引擎,任何写入其他引擎的表，包括mysql.*表将不会复制,但是DDL语句会被复制的,因此创建用户将会被复制,但是insert into mysql.user…将不会被复制的.

(2).DELETE操作不支持没有主键的表,没有主键的表在不同的节点顺序将不同,如果执行SELECT…LIMIT… 将出现不同的结果集.

(3).在多主环境下LOCK/UNLOCK TABLES不支持,以及锁函数GET_LOCK(), RELEASE_LOCK()…

(4).查询日志不能保存在表中。如果开启查询日志，只能保存到文件中。

(5).允许最大的事务大小由wsrep_max_ws_rows和wsrep_max_ws_size定义。任何大型操作将被拒绝。如大型的LOAD DATA操作。

(6).由于集群是乐观的并发控制，事务commit可能在该阶段中止。如果有两个事务向在集群中不同的节点向同一行写入并提交，失败的节点将中止。对于集群级别的中止，集群返回死锁错误代码(Error: 1213 SQLSTATE: 40001 (ER_LOCK_DEADLOCK)).

(7).XA事务不支持，由于在提交上可能回滚。

(8).整个集群的写入吞吐量是由最弱的节点限制，如果有一个节点变得缓慢，那么整个集群将是缓慢的。为了稳定的高性能要求，所有的节点应使用统一的硬件。

(9).集群节点建议最少3个。

(10).如果DDL语句有问题将破坏集群。

二、MariaDB Galera Cluster搭建演示

1.环境描述

OS: red hat linux 6.0 64bit

MariaDB server1:

192.168.1.137

MariaDB server2:

192.168.1.138

MariaDB server3:

192.168.1.139

Galera SST user:

sst

Galera SST password:

sstpass123

MySQL root password:

kongzhong

2. 配置mariadb的yum源

<code>[root@client137 ~]</code><code># vim /etc/yum.repos.d/mariadb.repo</code>

<code>[root@client138 ~]</code><code># vim /etc/yum.repos.d/mariadb.repo</code>

<code>[root@client139 ~]</code><code># vim /etc/yum.repos.d/mariadb.repo</code>

<code># yum源的内容如下：</code>

<code>[mariadb]</code>

<code>name = MariaDB</code>

<code>baseurl = http:</code><code>//yum</code><code>.mariadb.org</code><code>/5</code><code>.5</code><code>/rhel6-amd64</code>

<code>enabled = 1</code>

<code>gpgkey=https:</code><code>//yum</code><code>.mariadb.org</code><code>/RPM-GPG-KEY-MariaDB</code>

<code>gpgcheck=1</code>

<code>[root@client137 ~]</code><code># yum makecache</code>

<code>[root@client138 ~]</code><code># yum makecache</code>

<code>[root@client139 ~]</code><code># yum makecache</code>

3.安装 MariaDB-Galera-server galera MariaDB-client

<code>[root@client137 ~]</code><code># yum -y install MariaDB-Galera-server galera MariaDB-client</code>

<code>[root@client138 ~]</code><code># yum -y install MariaDB-Galera-server galera MariaDB-client</code>

<code>[root@client139 ~]</code><code># yum -y install MariaDB-Galera-server galera MariaDB-client</code>

4.编辑每台机器的hosts文件，添加如下内容

<code>[root@client137 ~]</code><code># vim /etc/hosts</code>

<code>192.168.1.137 client137.kongzhong.com client137</code>

<code> </code><code>192.168.1.138 client138.kongzhong.com client138</code>

<code> </code><code>192.168.1.139 client139.kongzhong.com client139</code>

<code># 启动测试一下</code>

<code>[root@client137 ~]</code><code># /etc/init.d/mysql start</code>

<code> </code><code>Starting MySQL.... SUCCESS!</code>

<code> </code><code>[root@client137 ~]</code><code># chkconfig mysql on</code>

5.设置MariaDB的root密码，并做安全加固

<code>[root@client137 ~]</code><code># /usr/bin/mysql_secure_installation</code>

<code># 登陆数据库，授权用于集群同步的用户和密码</code>

<code>[root@client137 ~]</code><code># mysql -uroot -pkongzhong</code>

<code>mysql> GRANT USAGE ON *.* to sst@</code><code>'%'</code> <code>IDENTIFIED BY </code><code>'sstpass123'</code><code>;</code>

<code>mysql> GRANT ALL PRIVILEGES on *.* to sst@</code><code>'%'</code><code>;</code>

<code>mysql> FLUSH PRIVILEGES;</code>

<code>mysql> quit</code>

<code># 创建并配置wsrep.cnf文件</code>

<code>[root@client137 ~]</code><code># cp /usr/share/mysql/wsrep.cnf /etc/my.cnf.d/</code>

<code> </code><code>[root@client137 ~]</code><code># vim /etc/my.cnf.d/wsrep.cnf</code>

<code># 只需要修改如下4行:</code>

<code>wsrep_provider=</code><code>/usr/lib64/galera/libgalera_smm</code><code>.so</code>

<code>wsrep_cluster_address=</code><code>"gcomm://"</code>

<code>wsrep_sst_auth=sst:sstpass123</code>

<code>wsrep_sst_method=</code><code>rsync</code>

<code># "gcomm://" 是特殊的地址,仅仅是Galera cluster初始化启动时候使用。</code>

<code># 如果集群启动以后，我们关闭了第一个节点，那么再次启动的时候必须先修改，"gcomm://"为其他节点的集群地址,例如wsrep_cluster_address="gcomm://192.168.1.138:4567"</code>

6.确认本机防火墙上开放了所需TCP 3306和TCP 4567的端口[也可以关闭防火墙]

<code>[root@client137 ~]</code><code># iptables -A INPUT -i eth0 -p tcp --dport 3306 -j ACCEPT</code>

<code> </code><code>[root@client137 ~]</code><code># iptables -A INPUT -i eth0 -p tcp --dport 4567 -j ACCEPT</code>

<code># 启动mariadb，查看3306和4567端口是否被监听</code>

<code>[root@client137 ~]</code><code># /etc/init.d/mysql restart</code>

<code>[root@client137 ~]</code><code># netstat -tulpn |grep -e 4567 -e 3306</code>

<code> </code><code>tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN 32363</code><code>/mysqld</code>

<code> </code><code>tcp 0 0 0.0.0.0:4567 0.0.0.0:* LISTEN 32363</code><code>/mysqld</code>

<code># 这样一个节点就已经配置完成，其他节点的配置先给个思路，如下注释部分：</code>

<code>构造新节点的操作步骤如下:</code>

<code>1.按照上述1-6的步骤安装MariaDB和Galera library</code>

<code>2.除了第5步wsrep_cluster_address的配置稍有不同:</code>

<code>wsrep_cluster_address=</code><code>"gcomm://Node-A-IP:4567"</code> <code># 这里指向是指上一层的集群地址</code>

<code>3.重起MariaDB</code>

7.新添加节点的配置如下：

<code>[root@client138 ~]</code><code># /etc/init.d/mysql start</code>

<code> </code><code>[root@client138 ~]</code><code># /usr/bin/mysql_secure_installation</code>

<code>[root@client138 ~]</code><code># mysql -uroot -pkongzhong</code>

<code>[root@client138 ~]</code><code># cp /usr/share/mysql/wsrep.cnf /etc/my.cnf.d/</code>

<code> </code><code>[root@client138 ~]</code><code># vim /etc/my.cnf.d/wsrep.cnf</code>

<code># 这里指定上一个集群节点的IP地址</code>

<code>wsrep_cluster_address=</code><code>"gcomm://192.168.1.137:4567"</code>

<code># 指定用于同步的账号和密码</code>

<code># 确认本机防火墙上开放了所需TCP 3306和TCP 4567的端口</code>

<code>[root@client138 ~]</code><code># iptables -A INPUT -i eth0 -p tcp --dport 3306 -j ACCEPT</code>

<code> </code><code>[root@client138 ~]</code><code># iptables -A INPUT -i eth0 -p tcp --dport 4567 -j ACCEPT</code>

<code>[root@client138 ~]</code><code># /etc/init.d/mysql restart</code>

<code>[root@client138 ~]</code><code># netstat -tulpn |grep -e 4567 -e 3306</code>

<code>[root@client139 ~]</code><code># /etc/init.d/mysql start</code>

<code> </code><code>[root@client139 ~]</code><code># /usr/bin/mysql_secure_installation</code>

<code>[root@client139 ~]</code><code># mysql -uroot -pkongzhong</code>

<code>[root@client139 ~]</code><code># cp /usr/share/mysql/wsrep.cnf /etc/my.cnf.d/</code>

<code> </code><code>[root@client139 ~]</code><code># vim /etc/my.cnf.d/wsrep.cnf</code>

<code>wsrep_cluster_address=</code><code>"gcomm://192.168.1.138:4567"</code>

<code>[root@client139 ~]</code><code># iptables -A INPUT -i eth0 -p tcp --dport 3306 -j ACCEPT</code>

<code> </code><code>[root@client139 ~]</code><code># iptables -A INPUT -i eth0 -p tcp --dport 4567 -j ACCEPT</code>

<code># 启动，并查看监听</code>

<code>[root@client139 ~]</code><code># /etc/init.d/mysql restart</code>

<code>[root@client139 ~]</code><code># netstat -tulpn |grep -e 4567 -e 3306</code>

8.以上配置完成后，

对于只有2个节点的Galera Cluster和其他集群软件一样，需要面对极端情况下的"脑裂"状态。

为了避免这种问题，Galera引入了"arbitrator(仲裁人)"。

"仲裁人"节点上没有数据,它在集群中的作用就是在集群发生分裂时进行仲裁，集群中可以有多个"仲裁人"节点。

"仲裁人"节点加入集群的方法如下:

<code>[root@client137 ~]</code><code># garbd -a gcomm://192.168.1.137:4567 -g my_wsrep_cluster -d</code>

# 注释：参数说明:

-d：以daemon模式运行

-a：集群地址

-g：集群名称

9.测试集群是否配置好参数：

登陆数据库：

查看如下几个参数：

<code># 下面这个参数的显示是初始化数据库显示的情况</code>

<code>MariaDB [(none)]> SHOW VARIABLES LIKE </code><code>'wsrep_cluster_address'</code><code>;</code>

<code> </code><code>| Variable_name | Value |</code>

<code> </code><code>| wsrep_cluster_address | gcomm:</code><code>//</code> <code>|</code>

<code># 如果配置了指向集群地址，上面那个参数值，应该是你指定集群的IP地址</code>

<code> </code><code>MariaDB [kz]> SHOW VARIABLES LIKE </code><code>'wsrep_cluster_address'</code><code>;</code>

<code> </code><code>| Variable_name | Value |</code>

<code> </code><code>| wsrep_cluster_address | gcomm:</code><code>//192</code><code>.168.1.139:4567 |</code>

<code> </code><code># 此参数查看是否开启</code>

<code> </code><code>MariaDB [kz]> show status like </code><code>'wsrep_ready'</code><code>;</code>

<code> </code><code>| Variable_name | Value |</code>

<code> </code><code>| wsrep_ready | ON |</code>

<code># 这个查看wsrep的相关参数</code>

<code>MariaDB [terry]> show status like </code><code>'wsrep%'</code><code>;</code>

<code>| Variable_name | Value |</code>

<code>| wsrep_local_state_uuid | bb5b9e17-66c8-11e3-86ba-96854521d205 | uuid 集群唯一标记</code>

<code>| wsrep_protocol_version | 4 |</code>

<code>| wsrep_last_committed | 16 | sql 提交记录</code>

<code>| wsrep_replicated | 4 | 随着复制发出的次数</code>

<code>| wsrep_replicated_bytes | 692 | 数据复制发出的字节数</code>

<code>| wsrep_received | 18 | 数据复制接收次数</code>

<code>| wsrep_received_bytes | 3070 | 数据复制接收的字节数</code>

<code>| wsrep_local_commits | 4 | 本地执行的 sql</code>

<code>| wsrep_local_cert_failures | 0 | 本地失败事务</code>

<code>| wsrep_local_bf_aborts | 0 |从执行事务过程被本地中断</code>

<code>| wsrep_local_replays | 0 |</code>

<code>| wsrep_local_send_queue | 0 | 本地发出的队列</code>

<code>| wsrep_local_send_queue_avg | 0.142857 | 队列平均时间间隔</code>

<code>| wsrep_local_recv_queue | 0 | 本地接收队列</code>

<code>| wsrep_local_recv_queue_avg | 0.000000 | 本地接收时间间隔</code>

<code>| wsrep_flow_control_paused | 0.000000 |</code>

<code>| wsrep_flow_control_sent | 0 |</code>

<code>| wsrep_flow_control_recv | 0 |</code>

<code>| wsrep_cert_deps_distance | 0.000000 | 并发数量</code>

<code>| wsrep_apply_oooe | 0.000000 |</code>

<code>| wsrep_apply_oool | 0.000000 |</code>

<code>| wsrep_apply_window | 1.000000 |</code>

<code>| wsrep_commit_oooe | 0.000000 |</code>

<code>| wsrep_commit_oool | 0.000000 |</code>

<code>| wsrep_commit_window | 1.000000 |</code>

<code>| wsrep_local_state | 4 |</code>

<code>| wsrep_local_state_comment | Synced |</code>

<code>| wsrep_cert_index_size | 0 |</code>

<code>| wsrep_causal_reads | 0 |</code>

<code>| wsrep_incoming_addresses | 192.168.1.137:3306 | 连接中的数据库</code>

<code>| wsrep_cluster_conf_id | 18 |</code>

<code>| wsrep_cluster_size | 2 | 集群成员个数</code>

<code>| wsrep_cluster_state_uuid | bb5b9e17-66c8-11e3-86ba-96854521d205 | 集群 ID</code>

<code>| wsrep_cluster_status | Primary | 主服务器</code>

<code>| wsrep_connected | ON | 当前是否连接中</code>

<code>| wsrep_local_index | 1 |</code>

<code>| wsrep_provider_name | Galera |</code>

<code>| wsrep_provider_vendor | Codership Oy <[email protected]> |</code>

<code>| wsrep_provider_version | 2.7(rXXXX) |</code>

<code>| wsrep_ready | ON | 插件是否应用中</code>

#以上详细参数注释：

监控状态参数说明:

(1).集群完整性检查:

wsrep_cluster_state_uuid:在集群所有节点的值应该是相同的,有不同值的节点,说明其没有连接入集群.

wsrep_cluster_conf_id:正常情况下所有节点上该值是一样的.如果值不同,说明该节点被临时"分区"了.当节点之间网络连接恢复的时候应该会恢复一样的值.

wsrep_cluster_size:如果这个值跟预期的节点数一致,则所有的集群节点已经连接.

wsrep_cluster_status:集群组成的状态.如果不为"Primary",说明出现"分区"或是"split-brain"状况.

(2).节点状态检查:

wsrep_ready: 该值为ON,则说明可以接受SQL负载.如果为Off,则需要检查wsrep_connected.

wsrep_connected: 如果该值为Off,且wsrep_ready的值也为Off,则说明该节点没有连接到集群.

wsrep_local_state_comment:如果wsrep_connected为On,但wsrep_ready为OFF,则可以从该项查看原因.

(3).复制健康检查:

wsrep_flow_control_paused:表示复制停止了多长时间.即表明集群因为Slave延迟而慢的程度.值为0~1,越靠近0越好,值为1表示复制完全停止.可优化wsrep_slave_threads的值来改善.

wsrep_cert_deps_distance:有多少事务可以并行应用处理.wsrep_slave_threads设置的值不应该高出该值太多.

wsrep_flow_control_sent:表示该节点已经停止复制了多少次.

wsrep_local_recv_queue_avg:表示slave事务队列的平均长度.slave瓶颈的预兆.

最慢的节点的wsrep_flow_control_sent和wsrep_local_recv_queue_avg这两个值最高.这两个值较低的话,相对更好.

(4).检测慢网络问题:

wsrep_local_send_queue_avg:网络瓶颈的预兆.如果这个值比较高的话,可能存在网络瓶

(5).冲突或死锁的数目:

wsrep_last_committed:最后提交的事务数目

wsrep_local_cert_failures和wsrep_local_bf_aborts:回滚,检测到的冲突数目

10.测试数据同步，一致等问题，这个测试不演示，概述一下大概思路：

(1).创建一个数据库，看是否同步

(2).数据库里分别创建一个innodb和myisam引擎的表，看是否同步

(3).分别往这两张表里插入数据，看是否同步，除innodb引擎数据可以同步，其余引擎是不同步

(4).在任意一节点插入，删除数据，看是否同步

11.在上面galera集群搭建完成后，我们可以借助于haproxy和lvs来实现mysql数据库集群之间的负载

这里就不演示，可以自己配置试试！

本文转自super李导51CTO博客，原文链接：http://blog.51cto.com/superleedo/2050240 ，如需转载请自行联系原作者

MariaDB Galera Cluster实现mariadb的多主复制

继续阅读

Ubuntu16.04安装Apache+MySQL+PHP1. 安装Apache2. 安装MySQL3. 安装PHP4. 安装phpMyAdmin

Linxu常用命令技巧汇总

ERROR 1 (HY000): Can't create/write to file '/tmp/#sql_4188_1.MYI' (Errcode: 28)

艰难安装LDAP,SSL认证

《Linux命令行与Shell脚本编程大全第2版.布卢姆》pdf

MySQL的4种隔离级别？出现问题

XX系统实施过程问题总结

无组件上传图片到数据库中，最完整解决方案

【MySQL数据库】数据库索引事务1.索引2.事务

27 Best Free Eclipse Plug-ins for Java Developer to be ProductiveCode Quality PluginsText Editor PluginsDependency ManagementVersion Control Integration PluginsFramework Development Continuous Integration Related PluginsOther Utility Plugins

neo4j之cypher使用文档

NOSQL安全攻击

mybatis_入门程序Mybatis入门

mysql使用source命令导入.sql文件

登录plsql 报错 the account is locked --用户被锁

SequoiaDB巨杉数据库C++驱动概述