ZooKeeper场景实践：集中式配置管理3. 动手实践

ZooKeeper场景实践：集中式配置管理

在分布式的环境中，可能会有多个对等的程序读取同样的配置文件，程序可以部署在多台机器上，如果配置采用文件的话，则需要为部署该程序的机器也部署一个配置文件，一旦要修改配置的时候就会非常麻烦，需要修改多个配置文件，而且容易产生不一致。

集中式配置管理的思路是，将配置数据集中发布到ZooKeeper的节点上，供订阅者动态获取数据。实现配置的集中式管理和动态更新。可以简单的理解为配置数据与程序分离。

通常来说，大部分项目里面都有约定的配置文件格式，如ini,xml等。一般都会有对应的解析库类。这种解析库类的基本工作模式为：

读取文件（open）

解析文件（parse)

对外提供参数(get)

如果我们将文件的内容全部放到ZooKeeper的某个节点上.解析类将配置数据全部下载到本地，在完成解析的话，则可以用很小的改动就完成集中式配置管理的需求。

读取Zookeeper上对应路径的数据(read)

解析文件(parse)

对外提供参数（get)

动态更新是希望不重启程序就能够实时获取更新的配置。在单机环境中，这种配置数据通常会放在数据库中，修改配置只需要update数据库就可以了。

使用ZooKeeper的话，需要节点注册一个watcher，监视配置数据的是否有变化，一定出现变化，则调用新的解析类来重新解析配置数据。

个人认为这个特征使用Zookeeper可以实现，但是并不是所有配置都需要这个功能，这种比较适合对配置敏感，需要实时更新配置的情况。

这里我只实现了集中式配置管理的功能，没有实现动态更新，有需要的话你可以尝试自己实现。

由于之前曾经做个一个ini文件的库类解析，这里就直接拿过来改了。根据场景的分析，只需要修改open这个函数就ok了。

看下原来的open函数

<b>[cpp]</b> view plain copy

/*读取文件名要改为地址和路径*/

int IniFile::open(const string &amp;filename)

{

    release();

    fname_ = filename;

    IniSection *section = NULL;

    /*读取数据的方式需要修改*/

    FILE *fp = fopen(filename.c_str(),"r");

    if(fp == NULL ){

        return -1;

    }

    string line;

    string comment;

    //增加默认段

    section = new IniSection();

    sections_[""] = section;

    /*获取行的方式需要修改*/

    while(getline(line,fp) &gt; 0){

        ...//省略单行的解析

    fclose(fp);

    return 0;

}

我们有三个主要需要修改的地方，分别是是入参，fopen和getline。下面是修改后的open函数

/*修改入参，host为Zookeeper的ip及端口地址，filepath为配置数据的路径*/

int IniFile::open2(const string &amp;host,const string &amp;filepath)

    fname_ = filepath;

    char fp[2048]={0};

    /*ZooKeeper来读取*/

    zkopen(host,filepath,fp,sizeof(fp));

    if(fp[0] == 0){

    char *p = fp;

    /*调整getline的入参*/

    while(getline2(line,p) &gt; 0){

          ...//省略单行的解析

zkopen从Zookeeper的节点上读取数据，并保存到fp中。代码如下：

string zkopen(const string &amp;host,const string &amp;filepath,char *fp,int len)

    int timeout = 30000;

    char path_buffer[512];

    int bufferlen=sizeof(path_buffer);

    char conf_data[2048];

    int conf_len=sizeof(conf_data);

    zoo_set_debug_level(ZOO_LOG_LEVEL_WARN); //设置日志级别,避免出现一些其他信息  

    zhandle_t* zkhandle = zookeeper_init(host.c_str(),NULL, timeout, 0, (char *)"Monitor Test", 0);

    if (zkhandle ==NULL)

    {

        fprintf(stderr, "Error when connecting to zookeeper servers...\n");

        exit(EXIT_FAILURE);

    int ret = zoo_get(zkhandle,filepath.c_str(),0,conf_data,&amp;conf_len,NULL);

    if(ret != ZOK){

        fprintf(stderr,"failed to get the data of path %s!\n",filepath.c_str());

        conf_data[0] = 0;

    zookeeper_close(zkhandle);

    strncpy(fp,conf_data,len);

    return conf_data;

接下来在对比下调用的变化。

原来的调用方式：

/** read test **/

  IniFile ini;

  ini.open(g_filepath);

  //获取指定段的指定项的值

  int ret = 0;

  string db_name = ini.getStringValue("COMMON","DB",ret);

  string db_passwd = ini.getStringValue("COMMON","PASSWD",ret);

现在的调用方式：

   IniFile ini;

   ini.open2(g_host,g_filepath);/*仅此处有变化*/

   //获取指定段的指定项的值

   int ret = 0;

   string db_name = ini.getStringValue("COMMON","DB",ret);

   string db_passwd = ini.getStringValue("COMMON","PASSWD",ret);

由上可见，配置的改造还是很容易的，而且对程序的改动很小。

代码详见https://github.com/Winnerhust/ZooKeeper-Exam/tree/master/Config

需要注意一点，配置文件中通常有很多换行，而ZooKeeper的客户端命令行工作不支持字符转义。比如你要将一个配置文件test.ini的内容保存到Zookeeper上，文件内容如下。

[COMMON]

DB=mysql

PASSWD=root

你可能会在Zookeeper客户端上输入:

<code>[zk: 172.17.0.36:2181(CONNECTED) 39] create /Conf/test.ini [COMMON]\nDB=mysql\nPASSWD=root\n</code>

结果与我们希望的并不一样:

<code>[zk: 172.17.0.36:2181(CONNECTED) 43] get /Conf/test.ini3[COMMON]\nDB=mysql\nPASSWD=root\n</code>

Zookeeper并没有将字符串进行转义，所以不能用ZooKeeper客户端直接上传配置文件。因此在代码里我还增加了一个上传配置的功能。只需要将上一个参数<code>-r</code>就可以了。如将test.ini文件的内容上传到ZooKeeper：

<code>cat test.ini | testcase -r -p/Conf/test.ini -s172.17.0.36:2181</code>