Linux企业运维之varnish

• varnish简介
• • • 总体架构编辑
    • 工作流程编辑
    • Varnish程序结构
    • Varnish Configuration Language (VCL)
• 实验步骤：
• • • 搭建varnish服务器
    • 负载均衡
• cdn 推送平台
• • • cdn 的概念
    • cdn 的简单测试

varnish简介

Varnish 的作者Poul-Henning

Kamp是FreeBSD的内核开发者之一，他认为现在的计算机比起1975年已经复杂许多。在1975年时，储存媒介只有两种：内存与硬盘。但现在计算机系统的内存除了主存外，还包括了CPU内的L1、L2，甚至有L3快取。硬盘上也有自己的快取装置，因此Squid

Cache自行处理物件替换的架构不可能得知这些情况而做到最佳化，但操作系统可以得知这些情况，所以这部份的工作应该交给操作系统处理，这就是

Varnish cache设计架构。 [1]

varnish项目是2006年发布的第一个版本0.9.距今已经有十多年了，此文档之前也提过varnish还不稳定，那是2007年时候编写的，经过varnish开发团队和网友们的辛苦耕耘，现在的varnish已经很健壮。很多门户网站已经部署了varnish，并且反应都很好，甚至反应比squid还稳定，且效率更高，资源占用更少。相信在反向代理，web加速方面，varnish已经有足够能力代替squid。

总体架构编辑

==总体流程==
主进程 fork 子进程，主进程等待子进程的信号，子进程退出后，主进程重新启动子进程
子进程生成若干线程。
Accept 线程：接受请求，将请求挂在 overflow队列上
Work 线程： 多个，从对列上摘除请求，对请求进行处理，直到完成，然后处理下一个
请求
Epoll 线程： 一个请求处理称作一个 session，在 session 周期内，处理完请求后，会交给
Epoll 处理，监听是否还有事件发生。
Expire 线程：对于缓存的对象，根据过期时间，组织成二叉堆，该线程周期检查该堆的
根，处理过期的文件。
线程之间的关系：
accept 线程
监听端口，接受连接。
接受后组织成 struct ses（session 结构） ，看是否有空闲的工作线程，如果有，将请求给它，
pthread_cond_signal 信号通知它没有空闲线程，如果 overflow过大，则放弃该请求。否则，
将其挂在 overflow 上（需要更多工作线程，发通知）。
继续监听 2.1.2 work 线程
从 overflow队列上摘取请求（struct ses），进入状态机处理，处理结束后，通过 pipe通信，
将 struct ses发送给 epoll 线程。
Epoll 线程,得到传过来的 struct ses，若还没有过期，将 socket 放入 epoll 的事件中，事
件发生时，也会将其放入到 overflow中进行。
           

工作流程编辑

Varnish与一般服务器软件类似，分为master（management）进程和child（worker，主要做cache的工作）进程。master进程读入命令，进行一些初始化，然后fork并监控child进程。child进程分配若干线程进行工作，主要包括一些管理线程和很多woker线程。

针对文件缓存部分，master读入存储配置（-s file[,path[,size[,granularity]]]

），调用合适的存储类型，然后创建/读入相应大小的缓存大文件。接着，master初始化管理该存储空间的结构体。这些变量都是全局变量，在fork以后会被child进程所继承（包括文件描述符）。

在child进程主线程初始化过程中，将前面打开的存储大文件整个mmap到内存中（如果超出系统的虚拟内存，mmap失败，进程会减少原来的配置mmap大小，然后继续mmap），此时创建并初始化空闲存储结构体，挂到存储管理结构体，以待分配。

接着，真正的工作开始，Varnish的某个负责接受新HTTP连接的线程开始等待用户，如果有新的HTTP连接过来，它总负责接收，然后叫醒某个等待中的线程，并把具体的处理过程交给它。Worker线程读入HTTP请求的URI，查找已有的object，如果命中则直接返回并回复用户。如果没有命中，则需要将所请求的内容，从后端服务器中取过来，存到缓存中，然后再回复。

分配缓存的过程是这样的：它根据所读到object的大小，创建相应大小的缓存文件。为了读写方便，程序会把每个object的大小变为最接近其大小的内存页面倍数。然后从现有的空闲存储结构体中查找，找到最合适的大小的空闲存储块，分配给它。如果空闲块没有用完，就把多余的内存另外组成一个空闲存储块，挂到管理结构体上。如果缓存已满，就根据LRU机制，把最旧的object释放掉。

释放缓存的过程是这样的：有一个超时线程，检测缓存中所有object的生存期，如果超初设定的TTL（Time To

Live）没有被访问，就删除之，并且释放相应的结构体及存储内存。注意释放时会检查该存储内存块前面或后面的空闲内存块，如果前面或后面的空闲内存和该释放内存是连续的，就将它们合并成更大一块内存。

整个文件缓存的管理，没有考虑文件与内存的关系，实际上是将所有的object都考虑是在内存中，如果系统内存不足，系统会自动将其换到swap空间，而不需要varnish程序去控制。

Varnish程序结构

• Management进程

  Management进程主要实现应用新的配置、编译VCL、监控varnish、初始化varnish以及提供一个命令行接口等。Management进程会每隔几秒钟探测一下Child进程以判断其是否正常运行，如果在指定的时长内未得到Child进程的回应，Management将会重启此Child进程。

管理的接口

• Cacher进程 进程包括多个线程

  Accept 线程：接收新的连接请求并响应
   Worker 线程：child进程会为每个会话启动一个worker线程，因此，在高并发的场景中可能会出现数百个worker线程甚至更多；
   Object Expiry 线程：从缓存中清理过期内容；
   Commad line 线程 : 管理接口
   Storage/hashing 线程 ：缓存存储
   Log/stats 线程：日志管理线程
   Backend Communication 线程：管理后端主机线程
   Varnish依赖“工作区(workspace)”以降低线程在申请或修改内存时出现竞争的可能性。在varnish内部有多种不同的工作区，其中最关键的当属用于管理会话数据的session工作区。
             

Varnish Configuration Language (VCL)

是 varnish配置缓存策略的工具，它是一种基于“域”(domain specific)的简单编程语言，它支持有限的算术运算和逻辑运算操作、允许使用正则表达式进行字符串匹配、允许用户使用set自定义变量、支持if判断语句，也有内置的函数和变量等。使用VCL编写的缓存策略通常保存至.vcl文件中，其需要编译成二进制的格式后才能由varnish调用。事实上，整个缓存策略就是由几个特定的子例程如vcl_recv vcl_fetch等组成，它们分别在不同的位置(或时间)执行，如果没有事先为某个位置自定义子例程，varnish将会执行默认的定义。
VCL策略在启用前，会由management进程将其转换为C代码，而后再由gcc编译器将C代码编译成二进制程序。编译完成后management负责将其连接至varnish实例，即child进程。正是由于编译工作在child进程之外完成，它避免了装载错误格式VCL的风险。因此，varnish修改配置的开销非常小，其可以同时保有几份尚在引用的旧版本配置，也能够让新的配置即刻生效。编译后的旧版本配置通常在varnish重启时才会被丢弃，如果需要手动清理，则可以使用varnishadm的vcl.discard命令完成。
           

1. Receive 状态,也就是请求处理的入口状态,根据 VCL 规则判断该请求应该是 Pass 或 Pipe,或者进入

   Lookup(本地查询)。

2. Lookup 状态,进入此状态后,会在 hash 表中查找数据,若找到,则进入 Hit 状态,否则进 入 miss 状态。
3. Pass 状态,在此状态下,会进入后端请求,即进入 fetch 状态。
4. Fetch 状态,在 Fetch 状态下,对请求进行后端的获取,发送请求,获得数据,并进行本地 的存储。
5. Deliver 状态, 将获取到的数据发送给客户端,然后完成本次请求。

Vcl内置函数和处理流程（状态引擎）

Vcl内置函数：vcl配置的缓存策略在此些内置函数发挥作用；

vcl_recv：用于接受和处理请求。当请求到达并成功接收后被调用，通过判断请求的数据来决定如何处理请求。例如如何响应、怎么响应、使用哪个后端服务器等。

vcl_fetch：根据服务器端的响应作出缓存决策，如判断获取的内容来决定是将内容放入缓存，还是直接返回给客户端。

vcl_pipe：对于无法理解的用户请求，将请求直接发往后端主机；

vcl_hash：自定义hash生成时的数据来源

vcl_pass：用于将请求直接传递至后端主机，后端主机在应答数据后将应答数据发送给客户端，但不进行任何缓存。

vcl_hit：从缓存中查找到缓存对象时要执行的操作；

vcl_miss：从缓存中款查找到缓存对象时要执行的操作；

vcl_deliver：将用户请求的内容响应给客户端时用到的方法；

vcl_error：在varnish端合成错误响应而时；

实验步骤：

搭建varnish服务器

首先安装7.3版本的虚拟机，配置好网络及yum源，关闭防火墙，下载vim，lftp，net_tools（网络工具，可以使用ifconfig命令）等常用软件

再创建三个快照作为服务器。因为考虑到IP冲突等问题，选择使用一个网段，我用的是172.25.4.0/24这个网段，所以三个快照的IP都在该网段内

选择最小安装（没有图形界面），安装完成后在中删除母盘

server1：172.25.4.1

server2：172.25.4.2

server3：172.25.4.3

在server1上将真机中的安装包拷贝过来

安装企业7版本的安装包

查看系统参数

vim /etc/varnish/varnish.params是服务的基本配置文件

修改varnish服务使用的端口为80

server1上面设置，将server1作为一个代理服务器，它的后端服务器是server2这个web服务器

客户端请求web服务器的资源通过server1这个代理服务器

写入sub vcl_deliver模块

写入两种情况：server1有缓存 server1没有缓存

之后重启服务systemctl restart varnish

在三台服务器上下载并开启http

将下server2写入到第二台服务器中

在真机里访问server1

第一次因为要去访问，需要进行缓存，所以显示MISS

之后就显示HIT

负载均衡

在server1中编辑配置文件，输入以下内容

vim /etc/vaenish/default.vcl

将下bbs.westos.org:server3写入到第三台服务器的默认发布文件中

将下www.westos.org:server2写入到第二台服务器的默认发布文件中

再编辑真机vim /etc/hosts

测试

如果想要使第二台和第三台服务器的分担负载不一样

则编辑以下内容

重启服务后测试，当访问www.westos.org时，两台服务器各访问一次

cdn 推送平台

cdn 的概念

CDN的全称是Content Delivery

Network，即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容，解决

Internet网络拥挤的状况，提高用户访问网站的响应速度。

CDN是构建在网络之上的内容分发网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率。CDN的关键技术主要有内容存储和分发技术。

CDN的基本原理是广泛采用各种缓存服务器，将这些缓存服务器分布到用户访问相对集中的地区或网络中，在用户访问网站时，利用全局负载技术将用户的访问指向距离最近的工作正常的缓存服务器上，由缓存服务器直接响应用户请求。

cdn 的简单测试

环境设置：httpd 服务 varnish服务 php服务

1）安装bansys软件包

unzip bansys.zip -d /var/www/html

2 ）把解压后的所有文件必须放在httpd默认发布目录下

3）配置 /var/www/html/config.php

172.25.4.0/24;这个网段的所有主机都有权限清理代理服务器上面的缓存

未完，