Mycat的简介，以及在Linux的配置，server.xml ,rule.xml,schema.xml 文件的修改，balance，writeType，switchType属性的意义

1.为什么叫mycat

其实mycat在最早的初期版本只支持mysql一种数据库，换句话说mycat其实就是mysql的增强版

在mysql中只是数据库，并没有读写分离和分库分表，这些操作全部都是由mycat进行实现

！！！！！主从复制(数据同步)功能mycat没有，必须要使用mysql所提供的！！！！！

2.什么是mycat

2.1.mycat是开源的 并且面向大型企业的大数据库集群

2.2.支持事务、ACID、可以替代MySQL的加强版数据库，目前为止已经支持了很多数据库(内存数据库(NOSQL:redis,mongoDB…),关系型数据库一样支持(MySQL、Oracle、DB2、SQL Server、PostgreSQL…))

2.3.代替了昂贵的oracle(Oracle在四年前单节点一年10万块，在那个时候mysql比较弱！！！)

2.4.mycat是一个HDFS大数据的新型SQL Server(SQL引擎，SQL服务器)

其实mycat沿用了Hadoop的HDFS概念–>只是mycat把F变为了D

3.什么是HDFS

H:Hadoop
D:Distributed
F:File
S:System
Hadoop(大数据)的分布式文件存储系统
什么是大数据:
	数据量非常大！！！！并且以文件的形式保存称之为大数据
mycat：
H:High(Big Data)
D:Distributed
D:Data(关系型数据库中所保存的数据)
S:System
           

4.mycat的两大核心：分库分表，读写分离

分库分表

4.1.什么是分库分表

在同一个系统(项目)中，把一张数据比较多的表放到不同的集群节点上，这种模式就称之为分库分表

4.2.需求

使用mycat实现分库分表(HDFS:namenode datanode secondarynamdenode)

在整个mycat中也会使用到namenode和datanode

mysql01服务器(linux)192.168.23.129：

mysql数据库

teach(真实的库)

student(表)

mysql02服务器(linux)192.168.23.130：

mysql数据库

teach(真实的库)

student(表)

使用mycat(192.168.23.164)把数据分别存放在两个student中，也就是说这两张student表合在一起才是一个完整的数据表

mycat --> mysql01存入一条数据

mycat --> mysql02存入一条数据

依次交替

4.3.配置mycat

4.3.1.规定linux的用户名和全名不能叫mycat!!!否则mycat会不生效(原因是影响整个linux系统的环境变量导致mycat的配置环境变量没有生效)
4.3.2.vim /etc/sysconfig/network也不能叫mycat
4.3.3.mycat使用的是Java语言编写-->所以必须要在linux上配置jdk(要求jdk必须为64位，因为mycat是在64位的jdk8上进行编译的)
4.3.4.配置jdk
4.3.5.使用xftp把mycat的压缩包上传到linux服务器上
4.3.6.解压mycat压缩包
	tar -zxvf xxxxx
4.3.7.配置mycat的环境变量
        也要进入
         vim /etc/profile
         在文档的后面配置
          export MYCAT_HOME=mycat安装的地址
         在exprot PATH后面要配置上
             $MYCAT_HOME/bin
       这个配置必须配置在PATH的上面，不然会加载错误！！！
           

1. 3.7.1 进入mycat的从conf目录

   mycat的三个核心配置文件

   所有的读写分离/分库分表都必须要在这三个配置文件完成

   mycat的conf目录

第一：配置server.xml目录，只需配置user标签里内容就行

server.xml:

配置了mycat的用户(账号:root 密码:root) --> 账号和密码 可以根据情况随意更改

user标签的name=‘root’就是你的登陆数据库的账号：一般用root

property标签的name=password 就是你的登陆密码，视自己情况而定。

property标签的name=schemas 这个是你数据库的名字，schemas中的配置和mysql的数据库可以一样，也可以不一样

mycat也是可以直接使用数据库连接软件进行连接的

整个user标签中就是配置了mycat的账号和密码

name===》就是mycat的账号

defaultAccount====》表示该账号为管理员账号，而且只能出现一次

property:属性标签

password===》就是name的密码

无论是账号还是密码都可以随意定制，开心就好！！！

readOnly:只读(该账号只能查询数据，不能写入数据)

schemas:指向的是mycat的数据库(mycat的虚拟库!!!这个库并不是真实存在的， 是需要，通过mysql的数据库进行映射的)，一个mycat中可以有多个schema

隐藏mysql的真实库的名字

连接mysql:

jdbc:mysql:localhost:3306/数据库名

连接mycat:

jdbc:mysql:ip地址:端口号/mycat的虚拟库名

这个server.xml 只需要配置user标签下的内容就可以了。

<user name="root" defaultAccount="true">
		<property name="password">123456</property>
		<property name="schemas">TEACH</property>
</user>
           

第二步：配置rule.xml:

mycat的规则

<?xml version="1.0" encoding="UTF-8"?>
<!-- - - Licensed under the Apache License, Version 2.0 (the "License"); 
	- you may not use this file except in compliance with the License. - You 
	may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0 
	- - Unless required by applicable law or agreed to in writing, software - 
	distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT 
	WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the 
	License for the specific language governing permissions and - limitations 
	under the License. -->
<!DOCTYPE mycat:rule SYSTEM "rule.dtd">
<mycat:rule xmlns:mycat="http://io.mycat/">

	<!--
		所有的规则配置一个tableRule对应一个function，如果需要进行配置必须要配置一对，
		不能单独配置一个(如果单独配置了一个的情况下，mycat启动的时候会直接报错)
		一共有十种规则：
		·在这里我们只用到这一种，所以只配置这一种就可以了，其他没用 的可以删掉
			

		mod-long:(轮询)
			mysql01
				mysql数据库
					teach
						student
			mysql02
				mysql数据库
					teach
						student

			当客户端发送请求===插入数据===》mycat===请求mysql===》
			会把第一条数据插入进mysql01,
			 会把第二条数据插入进mysql02
							 依次循环

	-->

	<tableRule name="mod-long">
		<rule>
			<columns>id</columns>
			<algorithm>mod-long</algorithm>
		</rule>
	</tableRule>
	
	
	<function name="mod-long" class="io.mycat.route.function.PartitionByMod">
		<!--
			代表了datanode的节点数量
			如果只有两台datanode就必须要写2
		-->
		<property name="count">2</property>
	</function>

</mycat:rule>

           

第三步：配置schema.xml:

实现了读写分离和分库分表的具体配置

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

	<!--
		!!!schema标签的name属性值必须要和server.xml中的schames保持一致!!!
		schema就类似于mysql的数据库
		checkSQLschema:检查SQL语句是否错误(select * from user wher id = 1)
			默认值为false，不需要改为true，把对SQL语句的检查交给mysql处理
		sqlMaxLimit:最大执行SQL语句的数量
			一次性可以执行多少条SQL语句

		在schame标签中有table标签，这个标签就是定义了mycat中的表
			类似于mysql数据库中的表
			和mysql中的表名可以重复也可以不一致

		dataNode:数据节点
			在HDFS中存放数据
   在mycat中映射的就是真实mysql数据库(可以有多个，也可以只有一个)，名字可以随意起
			今天的目标是实现分库分表，需要用到两台mysql数据库，所以只需要配置dn1和dn2

		rule:配置规则
			配置一定要和rule.xml中保持一致

	-->
	<schema name="TEACH" checkSQLschema="false" sqlMaxLimit="100">
		<!-- auto sharding by id (long) -->
		<table name="mycat_student" dataNode="dn1,dn2" rule="mod-long" />
	</schema>
	
	<!--
		datanode标签对应的是table标签中的datanode属性
			也就是说datanode属性值必须要和dataNode的标签name属性值保值一致
			dn1:代表了mysql01服务器==》mysql数据库
			dn2:代表了mysql02服务器==》mysql数据库
		dataHost:才是真正的配置了分库分表和读写分离的核心配置
		database:映射的是真实mysql的数据库名
	-->
	<dataNode name="dn1" dataHost="localhost1" database="mysql01" />
	<dataNode name="dn2" dataHost="localhost2" database="mysql02" />
	
	<!--
		dataHost标签必须要和dataNode标签中的dataHost属性保持一致
			如果dataHost属性名重复了，映射的是同一个dataHost
		每一个dataHost标签就是一个真实的mysql数据库
		maxCon:最大连接数
		minCon:最小连接数
		
		balance:负载均衡
		writeType:写入的类型(读写分离使用)
		switchType:转换的类型(读写分离所使用的数据)
		dbType:数据库的类型(在最早的版本mycat只支持mysql一种数据库，
		后来发展支持很多种数据库)
		dbDriver:数据库驱动(使用本地驱动，使用的是mycat所提供的驱动)

			master:主节点
			slave:从节点
			threshold:入口
	-->
	<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
			  writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
			  <!--
				heartbeat:心跳
					mycat一直在监视mysql的user表(心跳)，
					如果一旦发现mysql的user不再有心跳，就会认为这一台mysql处于宕机状态，
					也就不会再向这一台mysql进行做增删改查的操作
			  -->
		<heartbeat>select user()</heartbeat>
		<!--
			writeHost:标签是该台mysql数据库为读和写的数据库
			readHost:标签是该台mysql数据库为读的数据库
			writeHost如果单独存在，标识该台mysql数据库为读和写的操作
				如果一旦和readHost一起使用，writeHost就只能做些的操作，
				所有的读操作都使用readHost完成
				readHost必须要配置在writeHost的内容，不允许单独存在
			host:属性只是标识了该台数据库的操作的内容，可以随意定义
			url:数据库的url
				jdbc:mysql://localhost:3306
			！！！！！如果配置了两个writeHost,那么host的值就必须不能重复！！！！！
		-->
		<writeHost host="write01" url="192.168.23.129:3306" user="root"
				   password="root" />
	</dataHost>

	<dataHost name="localhost2" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		<writeHost host="write02" url="192.168.23.130:3306" user="root"
				   password="root" />
	</dataHost>
	<!--

		mycat中所映射的真实mysql的表必须要mycat所声明的table的名字保持一致
		也就是说mycat的表名必须要和mysql的表名一模一样，否则映射不到

	-->
</mycat:schema>
           

其实mycat也可以看成是一个数据库，只是这个数据库是虚拟的，把真实的mysql数据中的表数据映射进了虚拟库中，使用Java项目连接的时候只需要连接mycat即可，不再需要连接mysql

4.3.8.启动mycat

进入mycat的bin目录

./mycat console
           

或者在任意的位置直接使用

mycat console
           

console | start | stop | restart | status | dump

启动mycat:

mycat console 类似于IDEA中控制台，mycat会把日志打印出来

mycat start 就是正常启动

一般情况下推荐使用console启动

一旦启动mycat就关不掉，kill -9关不掉 除非重启或者关机

看到以下信息说明启动成功:

jvm 1    | MyCAT Server startup successfully. see logs in logs/mycat.log
           

4.3.9

注意报错:

Caused by: io.mycat.config.util.ConfigException: Illegal table conf : table [ MYCAT_STUDENT ] rule function [ mod-long ] partition size : 3 > table datanode size : 2, please make sure table datanode size = function partition

这个问题是因为rule.xml 中节点数的的数目配置的不对

修改下这就可以了

<property name="count">2</property>
           

启动成功后可以直接使用数据库连接工具连接mycat

mycat的dbType配置的是什么数据库，就使用这一种数据库进行连接即可

mycat有两个端口号:

9066:管理端口号(管理mycat使用的)
8066:通讯端口号(连接端口号)  链接数据库就要使用这个8066端口号
           

读写分离和分库分表 是单独存在的，这里不可以配在一起

也可以自己配置读写分离与分库分表一起，但是不是这样配置的

5.读写分离

1.什么是读写分离:

在同一个系统(项目)中，把对数据库的读和写分别在集群的不同节点上完成，这种模式就称之为读写分离

2.读写分离的配置

server.xml

配置了mycat的用户以及schemas(相当于mysql的数据库)

rule.xml

配置了datanode的数量

指定了mycat的分片(dataHost)的规则

修改这个节点的数目

<property name="count">2</property>
           

schema.xml

真正的读写分离的配置

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

	<!--
		读写分离
			把读数据的操作在mysql03上实现(mysql03没有数据)
			把写数据的操作在mysql04上实现(mysql04有数据)
			也就是说整个读写分离的核心就是实现了mysql03和mysql04的数据同步
			数据同步的核心就是实现mysql03和mysql04的主从复制
			在之前讲的数据同步：
				当实现增删改的时候需要重新把mysql全表扫描然后存入redis中
			主从:
				两台数据库的关系
				mysql03是主库(只写数据)
					主库向从库同步数据
				mysql04是从库(只读数据)
			每一个readHost不能单独存在，必须要配置在writeHost里面
	-->
	<schema name="TEACH" checkSQLschema="false" sqlMaxLimit="100">
		<table name="mycat_teach" dataNode="dn1" rule="mod-long" />
	</schema>

	<!--
		database:在读写分离的配置中非常重要
			因为读写分离需要实现主从复制(在mysql的主从复制中必须非常准确的定位这个database的名字)
	-->
	<dataNode name="dn1" dataHost="localhost1" database="teach" />

	<dataHost name="localhost1" maxCon="1000" minCon="10" balance="3"
			  writeType="0" dbType="mysql" dbDriver="native" switchType="2"  slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		<!-- can have multi write hosts -->
		<!--
			实现读写分离的配置：
				mysql03作为写的数据库
				mysql04作为读的数据库
		-->
		<writeHost host="hostM1" url="192.168.23.131:3306" user="root"   主数据库
				   password="root">
			<readHost host="hostS1" url="192.168.23.132:3306" user="root" password="root" /> 从数据库
		</writeHost>
		<writeHost host="hostM1" url="192.168.23.133:3306" user="root"
				   password="root" />
	</dataHost>
</mycat:schema>
           

3.在schema.xml中的dataHost标签里有三个非常重要属性

!!!mycat也是支持负载均衡的!!!

3.1.balance

0:不使用负载均衡
	1:所有的writeHost的从节点都要参与负载(无论是读数据还是写数据)，
	但是writeHost的主节点只写数据，不读数据
		writeHost-->有5个从节点(一般情况下，这5个写数据的从节点是不工作的，
		当主节点宕机了以后从节点才会开始工作)
		一旦把balance的值配置为1，说明所有的writeHost的从节点都必须要参与读和写的操作
		(也就是说所有的从节点和主节点平等)
	面试题:
		writeHost的主节点是否参与读数据的操作？
			不参与
		mycat为什么这样设计？
			必须要知道什么时候会配置1-->因为访问量过大导致主节点压力过大
			当峰值访问量结束后-->需要回归最初的状态-->一台主节点和5台从节点
			如果说在峰值访问的数据量非常大--->直接导致了主节点宕机-->
			但是从节点完好-->峰值数据过去后-->主节点处于宕机状态-->
			从节点无法找到主节点-->还是从节点(不工作的)
	2:所有的主节点和从节点都要参与负载
	(无论是writeHost的主节点还是从节点都必须实现读和写的操作)
	3:所有的readHost无论是主节点还是从节点都必须参与负载，但是writeHost并不参与读的操作
		readHost如果也需要配置主从(1主3从)
		主节点工作，但是从节点一般情况下是不工作的，只有当主节点宕机的时候，
		从节点才开始工作
		所有readHost的主节点和从节点都开始工作(也就是说所有的节点都是平等的)，
		但是writeHost并不参与读的操作，也不参与负载！
           

3.2.writeType(写入的方式:一定要和主节点和从节点有关)

0:自动主从(在1.4以后支持了主从关系，但是并没有支持主从复制)
		也就是mycat会自动分配主从，如果说在同一个dataHost标签中配置了多个writeHost，
		则mycat会自动分配主从
	1:所有写操作都随机的发送到配置的 writeHost(1.5版本之前生效)
	1:不进行主从(1.5版本之后生效)，随机
		！！！！两个writeHost，mycat会随机只向一个writeHost中写数据，
		就算该writeHost宕机，也不会向另一个writeHost写入数据(？？？为什么这么设置？？？)
		!!并不是标准答案，只是我的个人理解:
			那个从来不写数据的writeHost是后备节点，一般情况下和readHost配置的一样，
			如果writeHost宕机，单独一台readHost是不能存在的，需要后备节点的支持！！！！
	2:所有的writeHost节点不再执行写的操作，所有的writeHost都停止写操作，
	只供查询的操作(查询压力比较大的时候才会使用到)
           

3.3.switchType(切换的方式)

无论是-1还是1都根据的是mycat所自带的主从关系
	-1:不自动切换
	writeHost配置的规则为一台主节点一台从节点
	如果主节点宕机，从节点还是从节点，并不会自动切换为主节点
	1:自动切换
	根据的是mysql所配置主从关系
	2:根据mysql配置主从进行切换(监视mysql的主从心跳)
		Slave_IO_Runing(YES)
		Slave_SQL_Running(YES)
	3:和2一样，只是2为单节点，3为集群模式
           

4.实现mysql的主从复制

4.1.配置主节点
	    mysql03为主节点
	   4.1.1.配置my.cnf文件
		以下所有的配置都必须在[mysqld]标签之下和[mysqld_safe]标签之上
		配置主从复制的数据库名,要求和dataNode标签中的database属性值一模一样
		binlog-do-db=teach

		配置忽略mysql数据库的主从复制
			也就是说mysql自带的mysql数据库并不参与主从复制(可以配也可以不配，但是要求配置)
		binlog-ignore-db=mysql

		开启二进制日志(可以配也可以不配，为了以后mysql出错做日志分析使用)
		log-bin=mysql-bin

		配置唯一标识符(id)(这个唯一标识不能和其他的任何mysql服务器一致，这个必须要保持唯一，一般情况下为了保证唯一性，配置的是该台服务器的ip最后一段(192.168.23.131))
		server-id=131

	4.1.2.重启mysql服务
		service mysqld restart
	4.1.3.进入到mysql中
		在mysql的bin目录
		./mysql -u root -p
	4.1.4.执行命令
		向其他的从节点进行授权
		grant file on *.* to 'root'@'%' identified by 'root';
	4.1.5.开启向从库复制数据
		grant replication slave, replication client on *.* to 'root'@'%' identified by 'root';
	4.1.6.也是授权命令(实现了最大程度的授权，向从节点开放超级管理员模式，包括主从复制)
		推荐配置
		grant all on *.* to 'root'@'%' identified by 'root' with grant option;
	4.1.7.提交并刷新
		flush privileges;
	4.1.8.查看主节点状态
		show master status;

4.2.从节点配置(非常简单)
	4.2.1.配置my.cnf文件
		以下所有的配置都必须在[mysqld]标签之下和[mysqld_safe]标签之上
		在整个my.cnf中只需要配置server-id即可，其他的都不需要配
	4.2.2.重启mysql服务
		.
	4.2.3.进入mysql中
		在mysql的bin目录
		./mysql -u root -p
	4.2.4.认主
		change master to master_host='192.168.23.131',master_port=3306,master_user='root',master_password='root',master_log_file='mysql-bin.000001',master_log_pos=1153;
		所有的配置都必须使用,隔开，并且只有端口号和position不需要单引号，其他的都必须要单引号
		master_host:主节点的ip地址
		master_port:主节点的端口号
		master_user:主节点的用户名
		master_password:主节点的密码
		master_log_file:主节点的日志文件--->在主节点使用show master status;查看(File)
		master_log_pos:主节点的定位信息在主节点使用show master status;查看(Position)
	4.2.5.刷新并提交
		flush privileges;
	4.2.6.开启主从复制
		start slave;
	4.2.7.查看从节点的状态
		show slave status;
		Slave_IO_Running=YES
		Slave_SQL_Running=YES
		说明配置成功