分布式系统之中心副本控制协议（Primary-secondary协议）

最近又把之前接触过一段时间的分布式系统及相关算法拾了起来，继续研究研究。大体将分布式涉及的一些基本原理及算法进行了理解掌握之后，又沿着从简到繁的次序依次记录了下来。

1. 副本协议

简单来讲，副本控制协议是按照指定的流程控制副本数据进行读写行为的协议，使副本满足一定的可用性和一致性要求的分布式协议。一般来说，副本协议需要满足：容错性、可用性和一致性（强一致性、会话一致性、最终一致性）。

按照副本协议是否含有中心节点，可将协议划分为两大类：“中心化副本控制协议”和“去中心化副本控制协议”。

2. 中心副本控制协议 （Primary-secondary协议）

基本思路：由一个中心节点协调副本数据的更新、维护副本之间的一致性。所有的副本相关的控制交由中心节点完成，将分布式并发控制问题转化为一个单机并发控制问题，需要解决“写写”、“读写”等并发冲突。总所周知，中心化的分布式系统存在单点故障问题，系统的可用性依赖于中性化节点，当中心节点异常，系统将整体不可用。

接下来，我们介绍一种常用的Primary-secondary中性化副本控制协议，在后面的关于Quorum的文章中，我们还会提及到该协议。

Primary-secondary协议中副本被分为两大类，其中仅有一个副本作为primary副本，其他为secondary副本。其协议需要解决四大问题：

数据更新流程、数据读取方式、Primary副本的确定和切换、数据同步

。

2.1 数据更新流程

1. 数据更新由primary节点协调完成。
2. 外部节点将更新操作发给primary节点
3. primary节点进行并发控制（确定并发更新操作先后顺序）
4. primary节点将更新操作发送给secondary节点
5. primary根据secondary节点的执行情况决定是都更新成功并返回外部节点
           

在实践当中，primary节点将同时发送N个副本给secondary，出口带宽仅为总带宽1/N，primary节点成为了系统吞吐瓶颈。为了解决这个问题，在一些系统（GFS，HDFS）中，使用接力的方式同步数据，即primary将更新发送给第一个secondary副本，该secondary副本发送给下一个secondary副本，以此类推。（该处就是HDFS中数据分发模型的使用原因）

2.2 数据读取方式

针对最终一致性，系统读取任意副本都可以满足需求。

针对会话一致性，系统可以为副本设置版本号，每次更新对版本号进行递增操作，用户读取副本时验证版本号，从而保证用户读到的数据单调递增。

Primary-secondary较难实现强一致性，下面介绍几种解决方案：

1. 始终只读primary副本，secondary不提供读服务，可以实现强一致性。

此处所说的primary实现中副本与机器并不绑定，而是将数据分段，以数据段为单位维护副本，将primary副本分散到集群中。

例： 数据分为数据段a,b,c，每个数据段有2个副本，仅有一个primary副本，有3台机器X、Y、Z。那么数据段分配可以为：X【a(primary),b】、Y【b(primary),c】、Z【c(primary)、a】

2. 由primary控制节点secondary节点的可用性。当primary更新secondary副本不成功时，primary将该secondary副本标记为不可用，从而用户不再读取该不可用副本。在一个确定的时间，某secondary副本要么更新到与primary一致的状态，要么被标记为不可用。这种方式依赖于一个中心元数据管理系统，记录副本的状态信息。

3. 基于Quorum机制选择primary，这部分内容将在另一篇文章中介绍。

2.3 Primary副本的确定和切换

切换副本的难点有两个方面：

1. 如何确定primary节点是一个异常节点
2. 切换primary如何不影响副本的一致性（保证新旧primary副本保持一致）
           

针对问题1，将在另一篇文章中介绍基于Lease机制的确定节点状态方法；针对问题2，同样也在另一篇文章中介绍基于Quorum机制确定新primary的方法。

分布式系统中发现节点异常需要一定的探测时间，该时间一般为10秒级别（利用Lease机制确定节点状态）；因此，primary-backup类副本协议的最大缺点就是primary副本切换带来的停服务问题。

2.4 数据同步

primary-secondary协议一般都会遇到secondary副本与primary不一致的问题。

该问题可能由以下三种状况导致：

1. 由于网络分化异常，secondary上的数据落后于primary上的数据
2. secondary上的数据有可能是脏数据，需要被丢弃
3. secondary是新增加的副本，没有数据
           

针对第一种状况，可以通过回放primary操作日志进行实现，从而使节点状态达到一致；针对第二种情况，通常从设计阶段就尽量避免分布式协议产生脏数据，如果一定存在脏数据，可以直接丢弃脏数据副本，然后将问题转化为第三种情况；针对第三种情况，可以使用检查点或者快照方式较快速完成同步，然后通过日志方式与当前副本状态达成一致。

在这一篇文章中，我们大体介绍了Primary-secondary协议，并针对其四大问题进行了依次解决，部分问题的解决方案放到了后面的文章进行细致的讲述。

参考：

• 《分布式系统原理介绍》