天天看点

自动化运维工具Ansible详细部署

一、基础介绍

==========================================================================================

1、简介

ansible是新出现的自动化运维工具,基于Python开发,集合了众多运维工具(puppet、cfengine、chef、func、fabric)的优点,实现了批量系统配置、批量程序部署、批量运行命令等功能。ansible是基于模块工作的,本身没有批量部署的能力。真正具有批量部署的是ansible所运行的模块,ansible只是提供一种框架。主要包括:

(1)、连接插件connection plugins:负责和被监控端实现通信;

(2)、host inventory:指定操作的主机,是一个配置文件里面定义监控的主机;

(3)、各种模块核心模块、command模块、自定义模块;

(4)、借助于插件完成记录日志邮件等功能;

(5)、playbook:剧本执行多个任务时,非必需可以让节点一次性运行多个任务。

2、总体架构

<a href="http://s3.51cto.com/wyfs02/M02/53/A7/wKiom1Rsxz3ToUCAAAGROYAM3EI989.jpg" target="_blank"></a>

3、特性

(1)、no agents:不需要在被管控主机上安装任何客户端;

(2)、no server:无服务器端,使用时直接运行命令即可;

(3)、modules in any languages:基于模块工作,可使用任意语言开发模块;

(4)、yaml,not code:使用yaml语言定制剧本playbook;

(5)、ssh by default:基于SSH工作;

(6)、strong multi-tier solution:可实现多级指挥。

4、优点

(1)、轻量级,无需在客户端安装agent,更新时,只需在操作机上进行一次更新即可;

(2)、批量任务执行可以写成脚本,而且不用分发到远程就可以执行;

(3)、使用python编写,维护更简单,ruby语法过于复杂;

(4)、支持sudo。

5、任务执行流程

<a href="http://s3.51cto.com/wyfs02/M01/53/A7/wKiom1Rsx2uQYJZ5AAJplY08vOQ976.jpg" target="_blank"></a>

二、Ansible基础安装与配置

1-1、yum源安装

<code># yum install http://mirrors.sohu.com/fedora-epel/6/x86_64/epel-release-6-8.noarch.rpm</code>

<code># yum install ansible</code>

1-2、源码安装

(1)、安装devtoolset

<code># yum groupinstall "Development tools"</code>

(2)、安装编译Python需要的包包

<code># yum install gcc zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel libffi-devel</code>

(3)、python2.7安装

<code>wget https://www.python.org/ftp/python/2.7.14/Python-2.7.14.tgz</code>

<code>tar xvzf Python-2.7.14.tgz</code>

<code>cd Python-2.7.14</code>

<code>./configure</code>

<code>make &amp;&amp; make altinstall(altinstall在安装时会区分已存在的版本)(解决libpython2.7.so.1.0办法:vi /etc/ld.so.conf 添加/usr/local/lib,然后ldconfig)</code>

<code>mv /usr/bin/python /usr/bin/python2.6.6</code>

<code>ln -s /usr/local/bin/python2.7 /usr/bin/python</code>

<code>## 将python头文件拷贝到标准目录,以避免编译ansible时,找不到所需的头文件</code>

<code>cd /usr/local/include/python2.7/</code>

<code>cp -a ./* /usr/include/</code>

<code>## 修改yum脚本,使其指向旧版本的python,已避免其无法运行</code>

<code>vim /usr/bin/yum</code>

<code>#!/usr/bin/python  --&gt;  #!/usr/bin/python2.6.6</code>

(4)、setuptools模块安装

<code>wget https://pypi.python.org/packages/2.7/s/setuptools/setuptools-0.6c11-py2.7.egg  --no-check-certificate </code>

<code>chmod +x setuptools-0.6c11-py2.7.egg </code>

<code>sh setuptools-0.6c11-py2.7.egg</code>

(5)、pycrypto模块安装

<code>wget https://pypi.python.org/packages/source/p/pycrypto/pycrypto-2.6.1.tar.gz</code>

<code>tar zxvf pycrypto-2.6.1.tar.gz</code>

<code>cd pycrypto-2.6.1</code>

<code>python setup.py install</code>

<code>cd ..</code>

(6)、PyYAML模块安装

<code>##安装libyaml</code>

<code>wget http://pyyaml.org/download/libyaml/yaml-0.1.5.tar.gz</code>

<code>tar zxvf yaml-0.1.5.tar.gz</code>

<code>cd yaml-0.1.5</code>

<code>./configure --prefix=/usr/local</code>

<code>make --jobs=`grep processor /proc/cpuinfo | wc -l`</code>

<code>make install</code>

<code>##安装PyYAML</code>

<code>wget http://pyyaml.org/download/pyyaml/PyYAML-3.11.tar.gz</code>

<code>tar zxvf PyYAML-3.11.tar.gz</code>

<code>cd PyYAML-3.11</code>

(7)、Jinja2模块安装

<code>##安装MarkupSafe</code>

<code>wget https://pypi.python.org/packages/source/M/MarkupSafe/MarkupSafe-0.9.3.tar.gz</code>

<code>tar zxvf MarkupSafe-0.9.3.tar.gz</code>

<code>cd MarkupSafe-0.9.3</code>

<code>##安装Jinja</code>

<code>wget https://pypi.python.org/packages/source/J/Jinja2/Jinja2-2.7.3.tar.gz</code>

<code>tar zxvf Jinja2-2.7.3.tar.gz</code>

<code>cd Jinja2-2.7.3</code>

(8)、paramiko模块安装

<code>##安装ecdsa</code>

<code>wget https://pypi.python.org/packages/source/e/ecdsa/ecdsa-0.11.tar.gz</code>

<code>tar xvzf ecdsa-0.11.tar.gz</code>

<code>cd ecdsa-0.11</code>

<code>##安装paramiko</code>

<code>wget https://pypi.python.org/packages/2b/27/b64860e7b208ff1dd36fe208d07bca1f9637a11fe733e2f2ceea587c3f75/paramiko-1.7.5.zip</code>

<code>unzip paramiko-1.7.5.zip</code>

<code>cd paramiko-1.7.5</code>

(9)、simplejson模块安装

<code>wget https://pypi.python.org/packages/08/48/c97b668d6da7d7bebe7ea1817a6f76394b0ec959cb04214ca833c34359df/simplejson-3.11.1.tar.gz</code>

<code>tar zxvf simplejson-3.11.1.tar.gz</code>

<code>cd simplejson-3.11.1</code>

(10)、ansible安装

<code>wget https://github.com/ansible/ansible/archive/stable-2.3.zip</code>

<code>unzip stable-2.3.zip</code>

<code>cd ansible-stable-2.3/</code>

2、Ansible配置

配置用户名密码

(1)、使用examles包做为默认配置,具体如下:

<code>mkdir -p /etc/ansible</code>

<code>cp -r examples/* /etc/ansible/</code>

<code>ls /etc/ansible/</code>

<code>ansible.cfg  DOCUMENTATION.yml  hosts  hosts.yaml  hosts.yml  playbooks  scripts</code>

(2)、使用默认示例配置文件后,先备份文件,编辑/etc/ansible/hosts文件:

<code>cp /etc/ansible/hosts /etc/ansible/hosts.bak </code>

<code>vim /etc/ansible/hosts   </code>

<code>…… </code>

<code>[all:children]</code>

<code>test</code>

<code>dev</code>

<code>[test]</code>

<code>#设置主机的默认连接用户,及密码</code>

<code>172.16.52.236 ansible_ssh_user=root ansible_ssh_pass=test </code>

<code>#设置ssh的连接方式,默认是openssh。官网推荐用openssh,因为paramiko查询key的时候,很耗时,效率不高。</code>

<code>172.16.52.226 ansible_connection=paramiko</code>

<code>[dev]</code>

<code>#给主机取个别名“qsh_test”,如果ssh默认端口不是22,这里可以指定特定的端口</code>

<code>qsh_test ansible_ssh_host=172.16.52.100 ansible_ssh_port=21100</code>

<code>#指定ssh端口也可以像下面这么指定。</code>

<code>172.16.52.23[1:9]:22</code>

<code>---------------------------------------</code>

<code>注:</code>

<code>1、all这个组包含俩子组分别是下面的test,和dev</code>

<code>2、以上两种指定ssh端口方法,只针对我们有少部分的主机是特殊端口,配置文件里有个选项,改成我们需要的端口就OK了,修改后对全局有效</code>

<code>grep "remote_port" /etc/ansible/ansible.cfg remote_port = 22    </code>

<code>3、172.16.52.236可以在不同的组中。在现实当中就像我一台服务器即可以装mysql也可以装apache是一个道理。</code>

<code>4、后面的用户和密码项是非必须的,在配置key认证的情况下,不使用密码也可以直接操作 。</code>

<code>未使用key的,也可以在ansible通过 -k参数在操作前询问手动输入密码。</code>

(3)、通过以下方式验证ansible是否可用,有结果输出,证明安装成功。

<code>ansible test -a 'uptime'</code>

<code>172.16.52.236 | SUCCESS | rc=0 &gt;&gt;</code>

<code> </code><code>18:33:05 up 7 days,  8:07,  1 user,  load average: 0.06, 0.05, 0.00</code>

<code>172.16.52.226 | SUCCESS | rc=0 &gt;&gt;</code>

<code> </code><code>18:33:05 up 7 days,  8:08,  1 user,  load average: 0.00, 0.00, 0.00</code>

报错:"msg": "Failed to connect to the host via ssh: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).\r\n"

解决:

提示需要安装sshpass,安装sshpass,sshpass也是epel源提供的

[root@ansible~]# yum install -y sshpass

SSH免密钥登录设置

(1)、生成公钥/私钥

# ssh-keygen -t rsa -P ''

## 写入信任文件(把本地的ssh公钥文件安装到远程主机对应的账户下):

#  ssh-copy-id -i ~/.ssh/id_rsa.pub remote-host

(2)、ansible配置

# mkdir -p /etc/ansible

# vim /etc/ansible/ansible.cfg

remote_port = 36000

private_key_file = /root/.ssh/id_rsa_ansible

……

(3)、简单测试

# ansible test -m command -a 'uptime'

说明:第一次运行时,需要输入一下“yes”【进行公钥验证】,后续无需再次输入。

说说ansible的工作流程吧,工作流程差不多是这样的

ansible通过OPENSSH或者python的pramamiko连接客户端

把ansible module推送到客户端。推送到客户端哪里的呢,请看

<code>[root@qsh_server ansible]# grep "remote_tmp" /etc/ansible/ansible.cfg </code>

<code>remote_tmp     = $HOME/.ansible/tmp</code>

<code>[root@qsh_server ansible]# ansible test  -a "ls  ~/.ansible"</code>

<code>tmp</code>

3.通过ssh执行客户端上的ansible module

4.执行完毕

5.删除刚刚推送过去的ansible module

3、常用模块使用

(1)、setup

## 用来查看远程主机的一些基本信息

# ansible test -m setup |more

(2)、ping

## 用来测试远程主机的运行状态

# ansible test -m ping

(3)、file

## 设置文件的属性

相关选项如下:

force:需要在两种情况下强制创建软链接,一种是源文件不存在,但之后会建立的情况下;另一种是目标软链接已存在,需要先取消之前的软链,然后创建新的软链,有两个选项:yes|no

group:定义文件/目录的属组

mode:定义文件/目录的权限

owner:定义文件/目录的属主

path:必选项,定义文件/目录的路径

recurse:递归设置文件的属性,只对目录有效

src:被链接的源文件路径,只应用于state=link的情况

dest:被链接到的路径,只应用于state=link的情况

state:

       directory:如果目录不存在,就创建目录

       file:即使文件不存在,也不会被创建

       link:创建软链接

       hard:创建硬链接

       touch:如果文件不存在,则会创建一个新的文件,如果文件或目录已存在,则更新其最后修改时间

       absent:删除目录、文件或者取消链接文件

示例:

## 远程文件符号链接创建

# ansible test -m file -a "src=/etc/resolv.conf dest=/tmp/resolv.conf state=link"

## 远程文件信息查看

# ansible test -m command -a "ls –al /tmp/resolv.conf"

## 远程文件符号链接删除

# ansible test -m file -a "path=/tmp/resolv.conf state=absent"

# ansible test -m command -a "ls -al /tmp/resolv.conf"

说明:如上显示,代表文件或链接已经删除。

## 递归创建个文件夹

# ansible test -m file -a "dest=/tmp/a/b/c owner=root group=root mode=755 state=directory"

<a href="https://s3.51cto.com/wyfs02/M00/A5/8B/wKioL1m_faPgDbQ8AAEEiqIRR_o815.png-wh_500x0-wm_3-wmp_4-s_2183043449.png" target="_blank"></a>

(4)、copy

## 复制文件到远程主机

backup:在覆盖之前,将源文件备份,备份文件包含时间信息。有两个选项:yes|no

content:用于替代“src”,可以直接设定指定文件的值

dest:必选项。要将源文件复制到的远程主机的绝对路径,如果源文件是一个目录,那么该路径也必须是个目录

directory_mode:递归设定目录的权限,默认为系统默认权限

force:如果目标主机包含该文件,但内容不同,如果设置为yes,则强制覆盖,如果为no,则只有当目标主机的目标位置不存在该文件时,才复制。默认为yes

others:所有的file模块里的选项都可以在这里使用

src:被复制到远程主机的本地文件,可以是绝对路径,也可以是相对路径。如果路径是一个目录,它将递归复制。在这种情况下,如果路径使用“/”来结尾,则只复制目录里的内容,如果没有使用“/”来结尾,则包含目录在内的整个内容全部复制,类似于rsync。

## 将本地文件“/etc/ansible/ansible.cfg”复制到远程服务器

# ansible test -m copy -a "src=/tmp/test.txt dest=/tmp/test.txt owner=root group=root mode=0644"

## copy 前先备份

# ansible test -m copy -a "src=/tmp/test.txt dest=/tmp/test.txt owner=root group=root mode=0644 backup=yes"

报错信息:

"Aborting, target uses selinux but python bindings (libselinux-python) aren't installed!"

解决办法:关闭远程服务器selinux

(5)、command

## 在远程主机上执行命令

creates:一个文件名,当该文件存在,则该命令不执行

free_form:要执行的linux指令

chdir:在执行指令之前,先切换到该目录

removes:一个文件名,当该文件不存在,则该选项不执行

executable:切换shell来执行指令,该执行路径必须是一个绝对路径

# ansible test -m command -a "uptime"

(6)、shell

## 切换到某个shell执行指定的指令,参数与command相同。

与command不同的是,此模块可以支持命令管道,同时还有另一个模块也具备此功能:raw

## 先在本地创建一个SHELL脚本

# vim /tmp/ansible_test.sh

#!/bin/sh

date +%F_%H:%M:%S

#chmod +x /tmp/ansible_test.sh

## 将创建的脚本文件分发到远程

# ansible test -m copy -a "src=/tmp/ansible_test.sh dest=/tmp/ansible_test.sh owner=root group=root mode=0755"

## 远程执行

# ansible test -m shell -a "/tmp/ansible_test.sh"

(7)、更多模块

其他常用模块,比如:service、cron、yum、synchronize就不一一例举,可以结合自身的系统环境进行测试。

service:系统服务管理

cron:计划任务管理

yum:yum软件包安装管理

synchronize:使用rsync同步文件

user:系统用户管理

group:系统用户组管理

更多模块可以参考:

#ansible-doc –l

<a href="http://s3.51cto.com/wyfs02/M00/53/A8/wKiom1RsyU6z1a-EAAK0vQQ--mg925.jpg" target="_blank"></a>

<a href="http://docs.ansible.com/modules_by_category.html" target="_blank">http://docs.ansible.com/modules_by_category.html</a>

<a href="http://www.ansible.cn/docs/" target="_blank">http://www.ansible.cn/docs/</a>

(国内的一个镜像站点,避免被墙 ^_^ )

(8)、一些概念补充

playbook的组成:playbook是由一个或多个“play”组成的列表,可以让它们联同起来按事先编排的机制执行;所谓task无非是调用ansible的一个module,而在模块参数中可以使用变量;模块执行是幂等的,这意味着多次执行是安全的,因为其结果均一致;

执行模型:task list中的各任务按次序逐个在hosts中指定的所有主机上执行,即在所有主机上完成第一个任务后再开始第二个。在顺序运行某playbook时,如果中途发生错误,所有已执行任务都将回滚,因此,在修改playbook后重新执行一次即可;

task组成:每个task都应该有其name,用于playbook的执行结果输出,建议其内容尽可能清晰地描述任务执行步骤。如果未提供name,则action的结果将用于输出;

notify指定handler的执行机制:“notify”这个action可用于在每个play的最后被触发,在notify中列出的操作称为handler,仅在所有的变化发生完成后一次性地执行指定操作。

三、后续工作

1、深入学习ansible的playbook以及扩展模块;

2、 结合业务环境,初步实现基础监控,以取代目前调用自动化部署平台API的方式;

3、 尝试自动化运维工具saltstack,并将其与ansible进行对比。

一些学习资料:

http://lansgg.blog.51cto.com/5675165/1745040

<a href="http://blog.xiaorui.cc/category/ansible/" target="_blank">http://blog.xiaorui.cc/category/ansible/</a>

<a href="http://lixcto.blog.51cto.com/4834175/d-4" target="_blank">http://lixcto.blog.51cto.com/4834175/d-4</a>

<a href="https://github.com/ansible/ansible-examples" target="_blank">https://github.com/ansible/ansible-examples</a>

<a href="http://rfyiamcool.blog.51cto.com/1030776/d-51" target="_blank">http://rfyiamcool.blog.51cto.com/1030776/d-51</a>

<a href="http://dl528888.blog.51cto.com/2382721/d-4/p-1" target="_blank">http://dl528888.blog.51cto.com/2382721/d-4/p-1</a>

<a href="http://edu.51cto.com/course/course_id-2220.html" target="_blank">http://edu.51cto.com/course/course_id-2220.html</a>

<a href="http://edu.51cto.com/course/course_id-2032.html" target="_blank">http://edu.51cto.com/course/course_id-2032.html</a>

<a href="http://www.shencan.net/index.php/category/%E8%87%AA%E5%8A%A8%E5%8C%96%E8%BF%90%E7%BB%B4/ansible/" target="_blank">http://www.shencan.net/index.php/category/%e8%87%aa%e5%8a%a8%e5%8c%96%e8%bf%90%e7%bb%b4/ansible/</a>

本文转自奔跑在路上博客51CTO博客,原文链接http://blog.51cto.com/qiangsh/1909199如需转载请自行联系原作者

qianghong000