【Data Cluster】真机环境下MySQL数据库集群搭建真机环境下MySQL-Cluster搭建文档

mysql cluster 和 oracle rac 完全不同，它采用无共享架构shared nothing（shared nothing architecture）。整个集群由管理节点(ndb_mgmd)，处理节点(mysqld)和存储节点(ndbd)组成，不存在一个共享的存储设备。mysql cluster 主要利用了 ndb 存储引擎来实现，ndb 存储引擎是一个内存式存储引擎，要求数据必须全部加载到内存之中。数据被自动分布在集群中的不同存储节点上，每个存储节点只保存完整数据的一个分片(fragment)。同时，用户可以设置同一份数据保存在多个不同的存储节点上，以保证单点故障不会造成数据丢失。mysql cluster 主要由 3 各部分组成：

sql 服务器节点

ndb 数据存储节点

监控和管理节点

这样的分层也是与 mysql 本身把 sql 处理和存储分开的架构相关系的。mysql cluster 的优点在于其是一个分布式的数据库集群，处理节点和存储节点都可以线性增加，整个集群没有单点故障，可用性和扩展性都可以做到很高，更适合 oltp 应用。但是它的问题在于：

目前的 mysql cluster 的性能还不理想，因为数据是按照主键 hash 分布到不同的存储节点上，如果应用不是通过主键去获取数据的话，必须在所有的存储节点上扫描，返回结果到处理节点上去处理。而且，写操作需要同时写多份数据到不同的存储节点上，对节点间的网络要求很高。

虽然 mysql cluster 目前性能还不理想，但是 share nothing 的架构一定是未来的趋势，oracle 接手 mysql之后，也在大力发展 mysql cluster，我对 mysql cluster 的前景抱有很大的期待。

安装mysql-cluster首先要了解cluster的构造,cluster大体上是由管理节点（mgmd）、数据节点（ndbd）、sql节点（mysqld）组成的。

【Data Cluster】真机环境下MySQL数据库集群搭建真机环境下MySQL-Cluster搭建文档

系统要求：

内存：4g（最少4g）

cpu：需要支持vt

如果你是笔记本用户那么cpu虚拟化可能是关闭的，请在bios下设置virtualization 为enable

新建虚拟机，选择典型安装，点击下一步

点击下一步

这里用户名最好是mysql因为后面要用到。设置成其他用户也可以。

下一步

位置就是保存这个虚拟centos系统的位置

选择如图所示，下一步

选择自定义硬件，建议最好每个虚拟机分配1g的内存。每个cent最少分配512m内存。

点击完成就可以了。

虚拟机安装完成后，用root权限进入。密码和mysql账户的密码相同。

首先进入linux终端，右键桌面如图所示

open in terminal（终端）

安装mysql-cluster前首先要卸载原有系统自带的mysql

联网卸载（终端下执行命令）

#yum remove mysql

手动清理（终端下执行命令）

#rpm –qa|grep mysql* （这条是查询系统中存在的mysql）

#rpm –e –nodeps mysql-libs-5.1.71-1.el6.x86_64 (不同版本的centos这个版本也不同)

首先查询需要导入的cent的ip地址，终端下输入

#ifconfig

如图所示其中inet addr：192.168.191.129就是这个cent的ip地址。

下载软件winscp

打开软件

新建站点，主机名就是cent 的ip ，用户名使用root

点击登录，输入密码，连接成功

左边是windows右边是cent

cent下进入目录/usr/local/src 把你的mysql-cluster安装文件放在这个目录下

打开cent终端

添加mysql用户和组（如果前面安装虚拟机的时候使用的用户是mysql则跳过此步骤

添加mysql用户

1. # groupadd mysql

2. # useradd mysql -g mysql

安装mysql-cluster 7.4.4-linux

1. # cd /usr/local/src/（已下载好集群版）

2. # tar -xvf mysql-cluster-gpl-7.4.4-linux-glibc2.5-x86_64.tar.gz

3. # mv mysql-cluster-gpl-7.4.4-linux-glibc2.5-x86_64 ../mysql

4. # cd ..

5. # chown -r mysql:mysql mysql/

6. # cd mysql

7. # scripts/mysql_install_db --user=mysql

当出现这个页面则mysql-cluster安装成功

以上步骤是安装mysql-cluster必须步骤，所有机器都要进行以上的步骤

# vi /var/lib/mysql-cluster/config.ini （目录和文件没有请新建，添加以下内容）

<code>1. [ndbd default]</code>

<code>2. noofreplicas=2</code>

<code>3. [tcp default]</code>

<code>4. portnumber=3306</code>

<code>7. #设置管理节点服务器 </code>

<code>8. nodeid=1</code>

<code>9. hostname=192.168.191.132 （管理节点服务器ip地址）</code>

<code>10. datadir=/</code><code>var</code><code>/mysql/data</code>

<code>13. nodeid=2</code>

<code>14. hostname=192.168.191.130 （ndbd点ip地址）</code>

<code>15. datadir=/</code><code>var</code><code>/mysql/data</code>

<code>17. [mysqld]</code>

<code>18. nodeid=3</code>

<code>19. hostname=192.168.191.131 (mysqld节点ip地址)</code>

<code>20. [mysqld]</code>

<code>21. nodeid=4</code>

<code>22. hostname=192.168.191.133 (mysqld节点ip地址)</code>

<code>24. #必须有空的mysqld节点，不然数据节点断开后启动有报错</code>

<code>25. [mysqld]</code>

<code>26. nodeid=5</code>

<code>27. [mysqld]</code>

<code>28. nodeid=6</code>

以上内容输入完毕后，按esc，输入：wq即可保存退出

拷贝ndb_mgm、ndb_mgmd、config.ini到bin目录。

# cd /usr/local/mysql/bin

# cp ./ndb_mgm /usr/local/bin/

# cp ./ndb_mgmd /usr/local/bin/

# cp /var/lib/mysql-cluster/config.ini /usr/local/bin/

# vi /etc/my.cnf （添加以下内容）

[mysqld]

datadir=/var/mysql/data

socket=/var/mysql/mysql.sock

user=mysql

# disabling symbolic-links is recommended to prevent assorted security risks

symbolic-links=0

#运行ndb存储引擎

ndbcluster

#指定管理节点

ndb-connectstring=192.168.191.132 (管理节点ip)

[mysql_cluster]

ndb-connectstring=192.168.191.132 (管理节点ip)

[ndb_mgm]

connect-string=192.168.191.132 (管理节点ip)

[mysqld_safe]

log-error=/var/mysql/log/mysqld.log

pid-file=/var/run/mysqld/mysqld.pid

# cd /usr/local/mysql/

设置mysql服务为开机自启动

# cp support-files/mysql.server /etc/rc.d/init.d/mysqld

# chmod +x /etc/rc.d/init.d/mysqld

# chkconfig --add mysqld

# vi /etc/my.cnf （添加以下内容）

[mysqld]

log-bin = /var/mysql/log/mysql-bin.log

max_connections=1000

#以下为mysql 主主模式的配置文件

# 忽略mysql数据库复制

binlog-ignore-db=mysql

# 每次增长2

auto-increment-increment=2

# 设置自动增长的字段的偏移量，即初始值为2

auto-increment-offset=1

ndbcluster

ndb-connectstring=192.168.191.132 （管理节点ip）

connect-string=192.168.191.132 （管理节点ip）

pid-file=/var/run/mysqld/mysqld.pid

这里要注意，在var目录下新建mysql目录，在新建的mysql目录下建立log和data目录

另外要给这两个目录授权代码如下

# cd /var

# chown –r mysql:mysql mysql/

下面两个命令是对mysql命令的一个link，否则无法使用mysql命令

# ln –s /usr/local/mysql/bin/mysql /usr/bin

# ln –s /var/mysql/mysql.sock /tmp/mysql.sock

mysql集群的启动顺序为：管理节点->数据节点->sql节点

mysql集群的关闭顺序为，管理节点->数据节点->sql节点

打开服务的时候注意防火墙问题

注意把管理节点的防火墙关闭命令如下：

# /etc/init.d/iptables stop

首先打开管理节点服务

# ndb_mgmd -f /var/lib/mysql-cluster/config.ini --initial（注意第一次或者对config文件进行修改后，打开服务一定要加上initial否则新增加的内容不会被使用）

然后打开ndbd节点服务

# /usr/local/mysql/bin/ndbd --initial（此处同上）

出现一下信息表示ndbd节点启动成功.

2012-03-28 02:01:38 [ndbd] info -- angel connected to '10.32.33.120:1186'

2012-03-28 02:01:38 [ndbd] info -- angel allocated nodeid: 36

最后打开两个sql节点131和133

#service mysqld start

出现mysql success表示服务启动成功

打开管理节点，终端输入

# ndb_mgm

#ndb_mgm> show

显示以下信息，则mysql-cluster安装部署成功

cluster configuration

---------------------

[ndbd(ndb)] 2 node(s)

id=2 @192.168.191.130 (mysql-5.5.20 ndb-7.4.4, nodegroup: 0)

[ndb_mgmd(mgm)] 1 node(s)

id=1 @192.168.191.132 (mysql-5.5.20 ndb-7.4.4)

[mysqld(api)] 4 node(s)

id=3 @192.168.191.131 (mysql-5.5.20 ndb-7.4.4)

id=4 @192.168.191.133 (mysql-5.5.20 ndb-7.4.4)

id=5 (not connected, accepting connect from any host)

id=6 (not connected, accepting connect from any host)

可以看到各个节点已经连接上了。

以下是关于mgm相关的命令

# ndb_mgm> show 查看各节点情况。

# ndb_mgm> all report memory 查看各数据节点使用情况

# ndb_mgm>create nodegroup 3创建数据节点分组

# mysql> alter online table data_house reorganize partition; 调整分区数据

# ndb_mgm>shutdown关闭节点

# ndb_mgm>exit退出

[root@localhost desktop]#service mysqld start

starting mysql.the service quit without updating pid file (/[failed]/var/mysql/log/localhost.localdomain.pid).

先去查看日志

#cd /var/mysql/data

#less localhost.localdomain.err

如果错误是

fatal error：can’t open and lock privilege tables:table’mysql.user’ doesn’t exist

解决方法：

终端输入

到mysql目录下/usr/local/mysql

输入

scripts/mysql_install_db –user=mysql(初始化数据库即可)

其他问题请注意查看问题所在的文件夹权限问题

1、从sql节点131登录，创建数据库和表，进行简单测试。

mysql> create database tltest ;

mysql> use tltest;

database changed

mysql> create table test1(id int,name varchar(10)) engine=ndb ;

mysql> insert into test1 values(1,'tl');

mysql> select * from test1 ;

+------+---------+

| id | name |

| 1 | tl |

登陆133节点，查看效果，库，表和数据已经同步。

从133节点插入一条数据，同样登陆131，也能看到数据已经同步。

【Data Cluster】真机环境下MySQL数据库集群搭建真机环境下MySQL-Cluster搭建文档

继续阅读

Ubuntu16.04安装Apache+MySQL+PHP1. 安装Apache2. 安装MySQL3. 安装PHP4. 安装phpMyAdmin

Linxu常用命令技巧汇总

ERROR 1 (HY000): Can't create/write to file '/tmp/#sql_4188_1.MYI' (Errcode: 28)

艰难安装LDAP,SSL认证

《Linux命令行与Shell脚本编程大全第2版.布卢姆》pdf

MySQL的4种隔离级别？出现问题

XX系统实施过程问题总结

无组件上传图片到数据库中，最完整解决方案

【MySQL数据库】数据库索引事务1.索引2.事务

neo4j之cypher使用文档

NOSQL安全攻击

mybatis_入门程序Mybatis入门

mysql使用source命令导入.sql文件

登录plsql 报错 the account is locked --用户被锁

sqlServer根据经纬查距离

SequoiaDB巨杉数据库C++驱动概述

【Data Cluster】真机环境下MySQL数据库集群搭建 真机环境下MySQL-Cluster搭建文档

继续阅读

【Data Cluster】真机环境下MySQL数据库集群搭建真机环境下MySQL-Cluster搭建文档