随着公司应用需求的增加,需要不断的扩展,服务器数量也随之增加,当服务器数量不断增加,我们会发现一台puppetmaster压力大,解析缓慢,而且时不时出“Timeout”之类的报错,那这时有什么优化的办法吗?我们在Puppet官网上找寻解决方案,发现puppetmaster可以配置多端口,结合WEB代理(推荐轻量级的负载均衡器Nginx),这样puppetmaster承受能力至少可以提升数倍以上,相当于在很大程度上优化了puppet的处理能力。
1.遵循前面的环境设定,我们这里的服务器环境及软件版本分别为:
服务器系统:CentOS5.8 x86_64
Ruby版本:ruby-1.8.5
Puppet版本:puppet-2.7.9
Nginx版本:nginx-0.8.46
2.Mongrel安装
要使用puppet多端口配置,需要指定mongrel类型,默认没有安装,需要安装:
1
<code>yum </code><code>install</code> <code>-yrubygem-mongrel</code>
3.配置puppetmaster
在/etc/sysconfig/puppetmaster文件末尾添加如下两行,分别代表多端口、mongrel类型,内容如下所示:
2
<code>PUPPETMASTER_PORTS=(8141 8142 8143 81448145)</code>
<code>PUPPETMASTER_EXTRA_OPTS=</code><code>"--servertype=mongrel--ssl_client_header=HTTP_X_SSL_SUBJECT"</code>
4.安装Nginx服务
安装之前请确保系统已经安装pcre-devel正则库,然后再编译安装Nginx,需要添加SSL模块参数支持,Nginx的安装过程如下所示:
3
4
5
6
7
<code>yum -y </code><code>install</code> <code>pcre-devel</code>
<code>cd</code> <code>/usr/local/src</code>
<code>wgethttp:</code><code>//nginx</code><code>.org</code><code>/download/nginx-0</code><code>.8.46.</code><code>tar</code><code>.gz</code>
<code>tar</code> <code>zxvf nginx-0.8.46.</code><code>tar</code><code>.gz</code>
<code>cd</code> <code>nginx-0.8.46</code>
<code>.</code><code>/configure</code> <code>--prefix=</code><code>/usr/local/nginx--with-http_ssl_module</code>
<code>make</code> <code>&& </code><code>make</code> <code>install</code> <code>&& </code><code>cd</code><code>../</code>
添加www用户组及用户,命令如下所示:
<code>groupadd www</code>
<code>useradd</code> <code>-g www www</code>
5.我们依据puppet需求来修改配置文件nginx.conf,内容如下所示:
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
<code>user www;</code>
<code>worker_processes 8;</code>
<code>events {</code>
<code> </code><code>worker_connections 65535;</code>
<code>}</code>
<code>http {</code>
<code> </code><code>include mime.types;</code>
<code> </code><code>default_type application</code><code>/octet-stream</code><code>;</code>
<code> </code><code>sendfile on;</code>
<code> </code><code>tcp_nopush on;</code>
<code> </code><code>keepalive_timeout 65;</code>
<code> </code><code>#定义puppet客户端访问puppet-server端日志格式</code>
<code> </code><code>log_format main </code><code>'$remote_addr - $remote_user [$time_local]"$request" $request_length $request_time $time_local'</code>
<code> </code><code>'$status $body_bytes_sent$bytes_sent $connection $msec "$http_referer" '</code>
<code> </code><code>'"$http_user_agent" $http_x_forwarded_for$upstream_response_time $upstream_addr $upstream_status '</code><code>;</code>
<code> </code><code>access_log </code><code>/usr/local/nginx/logs/access</code><code>.log main;</code>
<code> </code><code>upstream puppetmaster {</code>
<code> </code><code>server 127.0.0.1:8141;</code>
<code> </code><code>server 127.0.0.1:8142;</code>
<code> </code><code>server 127.0.0.1:8143;</code>
<code> </code><code>server 127.0.0.1:8144;</code>
<code> </code><code>server 127.0.0.1:8145;</code>
<code> </code><code>}</code>
<code> </code><code>server {</code>
<code> </code><code>listen 8140;</code>
<code> </code><code>root </code><code>/etc/puppet</code><code>;</code>
<code> </code><code>ssl on;</code>
<code> </code><code>ssl_session_timeout 5m;</code>
<code> </code><code>#如下为puppetmaster服务器端证书地址</code>
<code> </code><code>ssl_certificate </code><code>/var/lib/puppet/ssl/certs/server</code><code>.cn7788.com.pem;</code>
<code> </code><code>ssl_certificate_key</code><code>/var/lib/puppet/ssl/private_keys/server</code><code>.cn7788.com.pem;</code>
<code> </code><code>ssl_client_certificate </code><code>/var/lib/puppet/ssl/ca/ca_crt</code><code>.pem;</code>
<code> </code><code>ssl_crl </code><code>/var/lib/puppet/ssl/ca/ca_crl</code><code>.pem;</code>
<code> </code><code>ssl_verify_client optional;</code>
<code> </code><code>#File sections</code>
<code> </code><code>location </code><code>/production/file_content/files/</code> <code>{</code>
<code> </code><code>types { }</code>
<code> </code><code>default_type application</code><code>/x-raw</code><code>;</code>
<code> </code><code>#定义puppet推送路径别名</code>
<code> </code><code>alias</code> <code>/etc/puppet/files/</code><code>;</code>
<code> </code><code>}</code>
<code> </code><code># Modules files sections</code>
<code> </code><code>location ~ </code><code>/production/file_content/modules/</code><code>.+/ {</code>
<code> </code><code>root </code><code>/etc/puppet/modules</code><code>;</code>
<code> </code><code>rewrite ^</code><code>/production/file_content/modules/</code><code>(.+)/(.+)$ /$1</code><code>/files/</code><code>$2 </code><code>break</code><code>;</code>
<code> </code><code>location / {</code>
<code> </code><code>##设置跳转到puppetmaster负载均衡</code>
<code> </code><code>proxy_pass http:</code><code>//puppetmaster</code><code>;</code>
<code> </code><code>proxy_redirect off;</code>
<code> </code><code>proxy_set_header Host $host;</code>
<code> </code><code>proxy_set_header X-Real-IP $remote_addr;</code>
<code> </code><code>proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;</code>
<code> </code><code>proxy_set_header X-Client-Verify $ssl_client_verify;</code>
<code> </code><code>proxy_set_header X-SSL-Subject $ssl_client_s_dn;</code>
<code> </code><code>proxy_set_header X-SSL-Issuer $ssl_client_i_dn;</code>
<code> </code><code>proxy_buffer_size 10m;</code>
<code> </code><code>proxy_buffers 1024 10m;</code>
<code> </code><code>proxy_busy_buffers_size 10m;</code>
<code> </code><code>proxy_temp_file_write_size 10m;</code>
<code> </code><code>proxy_read_timeout 120;</code>
<code> </code><code>}</code>
6.修改完nginx.conf文件以后,我们要启动nginx及puppet-server,这时应该如何操作呢?
我们首先关闭puppetmaster进程,然后先启动nginx,不然nginx是会启动失败的,命令如下所示:
<code>/usr/local/nginx/sbin/nginx</code>
nginx占用puppetmaster默认的8140端口后,我们可以用如下命令来检查8140端口是否被nginx接管,如下所示:
<code>lsof</code> <code>-i:8140</code>
此命令显示结果表明8140被nginx进程接管,如下所示:
<code>COMMAND PID USER FD TYPE DEVICE SIZE</code><code>/OFF</code> <code>NODE NAME</code>
<code>nginx 4121 root 6u IPv4 20668 0t0 TCP *:8140 (LISTEN)</code>
<code>nginx 4122 www 6u IPv4 20668 0t0 TCP *:8140 (LISTEN)</code>
我们再启动puppetmaster,命令如下所示:
<code>service puppetmaster start</code>
如果ruby版本为1.8.5的话,等会运行puppetmaster会有如下警告,如下所示:
<code>Starting puppetmaster:</code>
<code>Port: 8141** Ruby version is not up-to-</code><code>date</code><code>;loading cgi_multipart_eof_fix</code>
<code> </code><code>[ OK ]</code>
<code>Port: 8142** Ruby version is notup-to-</code><code>date</code><code>; loading cgi_multipart_eof_fix</code>
<code> </code><code>[ OK ]</code>
<code>Port: 8143** Ruby version is notup-to-</code><code>date</code><code>; loading cgi_multipart_eof_fix</code>
<code>Port: 8144** Ruby version is notup-to-</code><code>date</code><code>; loading cgi_multipart_eof_fix</code>
<code> </code><code>[ OK ]</code>
<code>Port: 8145** Ruby version is notup-to-</code><code>date</code><code>; loading cgi_multipart_eof_fix</code>
这段警告值的意思为
<code>It's just a warning. Mongrel wants a Rubyversion of at least 1.8.6.</code>
<code>But it still runs just fine with previousversions. Just ignore the warning.</code>
翻译为中文的意思是:
Mongrel需要ruby至少是1.8.6以上的版本,但它仍然在当前版本运行,请忽咯当前警告,为了保证整个puppet运行环境的稳定,我这里选择还是沿用1.8.5版本的ruby,大家有任何疑问,欢迎随时通过此技术博客或电子邮箱[email protected]与抚琴煮酒进行交流。
本文转自 抚琴煮酒 51CTO博客,原文链接:http://blog.51cto.com/yuhongchun/1291908,如需转载请自行联系原作者