MongoDB是目前使用最为广泛的Nosql之一，其schema free、高性能、高可用、自动扩展的特性赢得了越来越多的关注和使用。在生产环境中，基本上都会使用Mongodb的Sharded cluster部署模式。本文先简单介绍MongoDB的一些基础特性，然后通过一步步搭建Sharded Cluster来深入认识mongodb。
mongodb是目前使用非常广泛的nosql(not only sql)之一，在db engines上排名非常靠前，下图是5月份的排名：
可以看到前面四个都是传统的关系型数据库，而mongodb在nosql中拔得头筹。本文会简单介绍mongodb的一些特性，然后通过在Linux环境下一步步搭建sharded cluster来学习mongodb。本文实验的mongodb是mongodb3.0，可能与最新的版本（mongodb3.4）在细节之处略有差异。
官方一句话就能概括Mongodb的特点：
MongoDB is an open-source document database that provides high performance, high availability, and automatic scaling.
开源、基于文档（document oriented）、高性能、高可用、自动伸缩。
开源：
这个好处就不用多说了，GitHub上有源码。
面向文档：
文档（document）在很多编程语言都有类似的数据结构，各种table、map、dict，再也不用使用DAO（data access object)。比如在python中，document与dict对应，array与list对应。
document也支持嵌套的document和array，这样的话也能部分解决关联查询（当然，虽然把相关信息放在一个嵌套的document降低了关联查询的开销，但在某些情况不得不需要关联查询的时候还是有点头疼）
由于基于document，所以就schema free（模式自由）啦，使用关系型数据的同学都知道，线上修改表结构是多么麻烦的一件事情。但在mongodb中，增该删一个字段太容易了，这个也是最后开发人员喜欢的一点，比如游戏服务器，玩家的持久化数据会不停的变化，每次更新都会增加一些功能，也就回增加一些需要持久化的字段，用mongodb就很合适。
高性能：
支持嵌套的document，在关系型数据库中需要联合查询的耗时操作，在mongodb中一条查询就能搞定
丰富的索引支持，而且索引还支持嵌套文档和数组
在使用了sharding机制的情况下，读写操作可以路由到不同的shard，提到了集群的并发性能
高可用：
要想mongodb高可用，那么就得使用mongodb的复制机制：replica set
replica set通过异步复制（Asynchronous replication）和自动Failover来保证可用性
后面会专门介绍replica set
自动扩展（水平拆分）：
在关系型数据中，当单个表数据量过大的时候，一般会通过垂直分表或者水平分表的方式来提到数据库吞吐量。在mongodb中，sharding是其核心功能之一，提供了自动的水平扩展（horizontal scalability）来对数据量比较大的集合进行拆分，sharding将同一个集合的不同子集数据放在不同的机器上，当应用程序选择好适当的sharding key，可以将读写操作路由到某一个shard上，大大提高了集群吞吐性能。
后面会专门介绍sharding cluster的组成
本文并不涵盖mongodb的基础知识，但是为了后面介绍sharding知识，以及搭建sharded cluster，在这里介绍一下_id这个特殊的字段（field）
默认情况下，mongodb会在集合的_id字段上创建unique index。如果没有在持久化的文档中包含_id，那么mongodb会自动添加这个字段，其value是一个ObjectId。
mongodb官方建议_id使用ObjectId、或者自然唯一标示（unique identifier）、说着自增的数字、或者UUID。_id在sharding相关的CRUD中有特殊性，具体使用的时候可以参加文档。
另外，为了后文描述方便，这里声明几个在mongodb中的概念
DB：与mysql的DB对应
collection、集合： 与mysql的table对应
document：与mysql的record对应
MongoDB中通过replica set（复制集）来提供高可用性：冗余与自动failover。
复制集是说将同一份数据的多分拷贝放在不同的机器（甚至不同的数据中心）来提高容错。一个典型的replica set由一组mongod实例组成，其中有且仅有一个节点提供写操作，称之为primary，primary也是默认的读节点。同时，replica set中可包含一个到多个secondary节点，secondary节点只提供读操作。如下图所示：
应用程序通过驱动与Primary连接，所有的写操作都在Primary上进行，同时primary会将这些操作写到oplog（operation log）中，secondary通过异步复制oplog，然后在本地数据集上执行oplog中的操作，这样就达到了数据的一致性。从这里可以看到，虽然secondary和primary维护的上同一份数据，但是其变更是要迟于primary的。
如果应用程序对数据的实时性要求不太高，比如评论数据、聚合数据等，那么可以从secondary读取，这样可以做到读写分离和高并发。如果拷贝放在不同的数据中心，能更好的提供数据局部性（data locality）和分布式服务的可用性。
我们看到，如果一个Secondary不能正常工作了（可能是进程crash、物理损坏、网络故障），对应用程序来说影响并不大。但是如果primary不能工作了呢？这个时候mongodb的automatic failover就开始发挥作用了。
在replica set中的所用mongod节点之间都会有心跳（heartbeat）存在，如果超过一定时间其他节点没有收到primary的心跳，那么就认为primary挂掉了。可被选举的secondary会投票选举出新的primary。整个过程如下所示：
自动的failover 虽然保证了mongodb的高可用性，但是在primary到secondary的切换过程中，这一段时间，mongodb是无法提供写操作的。表现就是对于应用程序的数据库操作请求会返回一些错误，这个时候应用程序需要识别这些错误，然后做重试。
除了Primary和Secondary，在replica set中还可以存在存在另外一种节点：Arbiter。Arbiter与Secondary节点的区别在于，Arbiter不持久化数据（do not bearing data), 自然也不可能在Primary挂掉的时候被选举。Arbiter的作用在于投票：为了选出新的primary，secondary投票规则是少数服从多数，如果replica set中的节点数目是偶数，那么就可能出现“平局”的情况，所以加入一个Arbiter就可以以最小的代价解决这个问题。
Arbiter不持久化数据，所以占用的磁盘空间也很少，对硬件的要求也不高。官方建议，Arbiter不要和primary或者secondary放在同一个物理主机上。
在后面的演示中，也会在replica set中加入一个Arbiter，减少磁盘占用。
所谓sharding就是将同一个集合的不同子集分发存储到不同的机器（shard）上，Mongodb使用sharding机制来支持超大数据量，将不同的CRUD路由到不同的机器上执行，提到了数据库的吞吐性能。由此可见，sharding是非常常见的scale out方法。
如上图所示，一个集合（Collection1）有1T的数据，原本放在一个单独的数据库中，通过sharding，将这个集合的数据放在四个独立的shard中，每一个shard存储这个集合256G的数据。每个shard物理上是独立的数据库，但逻辑上共同组成一个数据库。
一个sharded cluster由一下三部分组成：config server，shards，router。如图所示：
shards：
存储数据，可以是单个的mongod，也可以是replica set。在生产环境中，为了提高高可用性，都会使用replica set。存储在mongod上的数据以chunk为基本单位，默认的大小为64M，后面会介绍shard上数据的分裂（split）与迁移（migration）
config server：
存储集群的元数据（metadata），即数据的哪一部分放在哪一个shard上，router将会利用这些元数据将请求分发到对应的shards上，shards上chunk的迁移也是config server来控制的。
router:
mongos实例，在一个集群中直接为应用程序提供服务，利用config server上的元数据来制定最佳的查询计划。
数据分割（data partition）：
从前文知道，MongoDB在collection这个级别进行数据的切块，称之为sharding。块的最小粒度是chunk，其大小（chunkSize）默认为64M。
当一个集合的数据量超过chunkSize的时候，就会被拆分成两个chunk，这个过程称为splitting。那么按照什么原则将一个chunk上的数据拆分成两个chunk，这就是Sharding key的作用，Sharding key是被索引的字段，通过sharding key，就可以把数据均分到两个chunk，每一个document在哪一个chunk上，这就是元数据信息。元数据信息存放在config server上，方便router使用。
如果sharding cluster中有多个shard，那么不同shard上的chunk数目可能是不一致的，这个时候会有一个后台进程（balancer）来迁移（migrate）chunk，从chunk数目最多的shard迁移到chunk数目最少的chunk，直到达到均衡的状态。迁移的过程对应用程序来说是透明的。
如下图所示，迁移之前ShardA ShardB上都有3个chunk，而Shard C上只有一个Chunk。通过从ShardB上迁移一个chunk到ShardC，就达到了一个均衡的状态。
splitting和migration 的目的是为了让数据在shards之间均匀分布，其根本目标是为了将对数据的CRUD操作均衡地分发到各个shard，提高集群的并发性能。
声明，本章节只是演示Sharded Cluster的搭建过程，与生产环境还是有较大差异，不过我也会在文中尽量指出这些差异。首先需要注意的是，本文的演示不涉及到鉴权(--auth)，但在生产环境中鉴权是非常重要的，相信大家都还记得春节期间Mongodb被劫持、被攻击的事件。
前文已经提到，一个典型的Sharded Cluster包括router(mongos)、config server和shards，其中每个shard都可以是单点(standalone)或者复制集(replica set）。接下来的演示包括一个router， 三个config server，两个shard。每一个shard都是有一个primary、一个secondary和一个arbiter组成的replica set。
在开始之前，首先预定义好所有需要用到的变量，如下所示：
可以在会话窗口中将这些命令执行一遍，不过更好的方式是将其保存在一个文件中（如mongodb_define.sh），然后执行这个文件就行了：source mongodb_define.sh
在这一部分，会创建两个replica set，分别是rs1， rs2。每个replica set包含三个节点，且其中一个是arbiter。由于两个replica set创建过程没什么区别，因此以rs1为例。关于replica set的搭建，可参见mongodb doc中deploy-replica-set-for-testing部分，讲得比较清楚。
step1: 首先得创建好存放数据的目录：
mkdir -p $RS1_1_DB_PATH
mkdir -p $RS1_2_DB_PATH
mkdir -p $RS1_3_DB_PATH
PS: -p means "no error if existing, make parent directories as needed"
step2: 启动组成rs1的三个mongod
$BIN_HOME/mongod --port $RS1_1_PORT --dbpath $RS1_1_DB_PATH --fork --logpath $RS1_1_DB_LOG --replSet $RS1 --smallfiles --nojournal
$BIN_HOME/mongod --port $RS1_2_PORT --dbpath $RS1_2_DB_PATH --fork --logpath $RS1_2_DB_LOG --replSet $RS1 --smallfiles --nojournal
$BIN_HOME/mongod --port $RS1_3_PORT --dbpath $RS1_3_DB_PATH --fork --logpath $RS1_3_DB_LOG --replSet $RS1 --smallfiles --nojournal
关于mongod的启动选项，可以通过mongod --help查看，在上面的命令行中，--replSet 指定了replica set的名字， --smallfiles 声明使用更小的默认文件， --nojournal表明不开启journaling机制。注意，在这个地方不开启journaling是因为实验环境磁盘空间有限，而所有的mongod实例都在这个机器上，在生成环境中，一定要开始journaling，这个是mongodb durability的保证。
step3：初始化复制集rs1
在这一步，需要通过mongdb的客户端mongo连接到复制集的任何一个节点，对复制集初始化，这里连接到RS1_1（端口为27018）：
mongo --port $RS1_1_PORT
先来看一下现在复制集的状态（PS：下面所有以 > 开头的命令行都表示是在mongo这个交互式客户端输入的指令）
> rs.status()
可以看到这个复制集还没有初始化
>config = {
_id : "rs1",
members : [
{_id : 0, host : "127.0.0.1:27018"},
{_id : 1, host : "127.0.0.1:27019"},
{_id : 2, host : "127.0.0.1:27020", arbiterOnly: true},
]
}
>rs.initiate(config)
从config和运行后的复制集状态都可以看到，RS1_3（127.0.0.1:27020）这个mongod为一个Arbiter，即只参与投票，不持久化数据。另外RS1_1为Primary， RS1_2为Secondary。
到此为止，复制集rs1就启动好了。
关于s2的启动，下面也给出所有命令。方便读者实践
mkdir -p $RS2_1_DB_PATH
mkdir -p $RS2_2_DB_PATH
mkdir -p $RS2_3_DB_PATH
mongo --port $RS2_1_PORT
_id : "rs2",
members : [
{_id : 0, host : "127.0.0.1:27021"},
{_id : 1, host : "127.0.0.1:27022"},
{_id : 2, host : "127.0.0.1:27023", arbiterOnly: true},
]
mongodb官方建议config server需要三个mongod实例组成，每一个mongod最好部署在不同的物理机器上。这个三个mongod并不是复制集的关系，
step1：创建db目录
mkdir -p $CONF1_DB_PATH
mkdir -p $CONF2_DB_PATH
mkdir -p $CONF3_DB_PATH
step2：启动三个mongod实例：
$BIN_HOME/mongod --port $CONF1_PORT --dbpath $CONF1_DB_PATH --fork --logpath $CONF1_DB_LOG --configsvr --smallfiles --nojournal
$BIN_HOME/mongod --port $CONF2_PORT --dbpath $CONF2_DB_PATH --fork --logpath $CONF2_DB_LOG --configsvr --smallfiles --nojournal
$BIN_HOME/mongod --port $CONF3_PORT --dbpath $CONF3_DB_PATH --fork --logpath $CONF3_DB_LOG --configsvr --smallfiles --nojournal
同样启动参数中nojournal只是为了节省存储空间，在生产环境中一定要使用journaling。与创建replica set时mongod的启动不同的是，这里有一个configsvr 选项，表明这些节点都是作为config server存在。
再启动这三个mongod之后，不会有类似replica set那样讲三个mongod绑定之类的操作，也说明了config server之间是相互独立的
在Sharded Cluster中，router（mongos）是应用程序连接的对象，一切对mongodb的操作都通过router来路由
step1：启动mongos
$BIN_HOME/mongos --port $ROUTE_PORT --configdb $CONF1_HOST,$CONF2_HOST,$CONF3_HOST --fork --logpath $ROUTE_DB_LOG --chunkSize 32
注意这里的可执行程序是mongos，而不是之前的mongod，关于参数，也是可以通过mongos --help查看的。在上面的命令中，--configdb选项指定了三个config server，--chunkSize指定了chunk的大小，单位为M。关于chunksize，默认是64M，虽然可以在初次启动的时候指定chunksize，但mongodb官方推荐按照以下方式修改。 在本文中将chunkSize改小的目的，是为了以后实验的时候更方便观察数据的拆分和迁移。
chunkSize事实上会持久化到config.setting中，连接到mongos可查看：
mongo --port $ROUTE_PORT
在上面截图蓝色框中可以看出，现在还没有任何shard的信息，原因是到现在为止，config servers与replica set还没有任何关系
step2：将在前面创建的两个replica set（rs1 rs2）加入到Sharded Cluster中
mongo --port $ROUTE_PORT
mongos> sh.addShard('rs1/127.0.0.1:27018')
mongos> sh.addShard('rs2/127.0.0.1:27021')
PS：为什么需要在rs1后面指定一个mongod的ip port，这个是用来找到对应的mongod，继而找到相应rs
再次查看结果：
可以看到已经添加了两个shard，每一个都是一个replica set。有意思的是Arbiter（比如RS1_3）并没有显示在查询结果中，可能的原因是Arbiter并不持久化数据，显示在这里也没有什么意义。
到此为止，整个Sharded Cluster就算搭建好了，但是还未进入真正使用阶段，要发挥Sharded Cluster的作用，我们得指定哪些collection可以被sharding，以及如何sharding
为了演示，我们假设添加一个db叫test_db, 其中有两个collection，一个是需要sharding的，叫sharded_col；另一个暂时不用sharding，叫non_sharded_col， 当然之后也可以增加新的集合，或者把原来没有sharding的集合改成sharding。
一下操作都需要登录到router进行： mongo --port $ROUTE_PORT
step1：首先得告知mongodb test_db这个数据库支持sharding
mongos> sh.enableSharding("test_db")
{ "ok" : 1 }
这个时候可以查看数据库的状态，注意，是在config这个db下面的databases集合
mongos> use config
mongos> db.databases.find()
{ "_id" : "admin", "partitioned" : false, "primary" : "config" }
{ "_id" : "test_db", "partitioned" : true, "primary" : "rs1" }
从查询结果可以看到，test_db是支持sharding的（"partitioned" : true）。另外上面加粗部分primary： rs1，这个primary与replica set里面的primary不是一回事，这里的primary是primary shard的意思，我们知道即使在sharded cluster环境中，一些数据量比较小的db也是无需分片的，这些db默认就存放在primary shard上面
step2：为需要的collection（即这里的sharded_col）指定sharding key
前面已经提到了sharding key的作用，关于sharding key的选择，是一个比较复杂的问题，sharding key对索引，对CRUD语句的操作都有诸多限制，这一部分以后再细讲，在这里默认使用_id做sharding key（_id是mongodb默认为每个集合增加的索引）
mongos> sh.shardCollection('test_db.sharded_col', {'_id': 1})
接下来看看整个sharded cluster的状态：
sh.status()反应的内容事实上也是来自config整个数据库的内容，只不过做了一定程度的整合。从上面可以看到，有两个shard，rs1, rs2;test_db允许sharding，test_db.sharded_col整个collection的sharding key为{"_id": 1}，且目前只有一个chunk在rs1整个shard上。
到目前为止，我们已经搭建了一个有三个config server，两个shard的sharded cluster，其中每一个shard包含三个节点的replica set，且都包含一个Arbiter。我们可以查看一下刚创建好之后各个mongod实例持久化的数据大小：
可以看到，两个Arbiter（rs1_3, rs2_3）所占的空间要小得多。
对于应用程序来说，集群（sharded cluster）和单点（standalone）是有一定差异的，如果需要发挥sharded cluster高性能、高可用的特点，需要根据应用场景精心选择好sharding key，而sharding key的选择跟索引的建立以及CRUD语句息息相关，这一部分以后再聊。对于目前搭建的这个实例，简单测试的话，往sharded_col插入足够多条document就能看到chunks的拆分和迁移。
references：
db engines
the-id-field
replication-introduction
deploy-replica-set-for-testing
deploy-shard-cluster
本文版权归作者xybaby（博文地址：http://www.cnblogs.com/xybaby/）所有，欢迎转载和商用，请在文章页面明显位置给出原文链接并保留此段声明，否则保留追究法律责任的权利，其他事项，可留言咨询。