IPSec是IETF（Internet Engineering Task Force）制定的一组开放的网络安全协议。它并不是一个单独的协议，而是一系列为IP网络提供安全性的协议和服务的集合，包括认证头AH（Authentication Header）和封装安全载荷ESP（Encapsulating Security Payload）两个安全协议、密钥交换和用于验证及加密的一些算法等。
通过这些协议，在两个设备之间建立一条IPSec隧道。数据通过IPSec隧道进行转发，实现保护数据的安全性。从以下几个方面保障了用户业务数据在Internet中的安全传输：
- 数据真实性：接收方验证发送方身份是否合法。
- 数据机密性：发送方对数据进行加密，以密文的形式在Internet上传送，接收方对接收的加密数据进行解密后处理或直接转发。
- 数据完整性：接收方对接收的数据进行验证，以判定报文是否被篡改。
- 防重放：接收方拒绝旧的或重复的数据包，防止恶意用户通过重复发送捕获到的数据包所进行的攻击。
安全联盟（Security Association）
IPSec安全传输数据的前提是在IPSec对等体（即运行IPSec协议的两个端点）之间成功建立安全联盟SA（Security Association）。SA是通信的IPSec对等体间对某些要素的约定，包括隧道两端的IP地址、隧道采用的验证方式、验证算法、验证密钥、加密算法、加密密钥、共享密钥以及生存周期等一系列参数。
SA由一个三元组来唯一标识，这个三元组包括安全参数索引SPI（Security Parameter Index）、目的IP地址和使用的安全协议号（AH或ESP）。
其中，SPI是为唯一标识SA而生成的一个32位比特的数值，它在AH和ESP头中传输。在手工配置SA时，需要手工指定SPI的取值；使用IKE协商产生SA时，SPI将随机生成。
SA是单向的逻辑连接，因此两个IPSec对等体之间的双向通信，最少需要建立两个SA来分别对两个方向的数据流进行安全保护。如下图所示，为了在对等体A和对等体B之间建立IPSec隧道，需要建立两个安全联盟，其中，SA1规定了从对等体A发送到对等体B的数据采取的保护方式，SA2规定了从对等体B发送到对等体A的数据采取的保护方式。
IPSec设备会把SA的相关参数放入SPD（Security Policy Database）里面，在IPSec数据包出站和入站的时候会首先从SPD数据库中查找相关信息并做下一步处理。
有两种方式建立IPSec安全联盟：手工方式和IKE自动协商方式。二者的主要区别为：
- 密钥生成方式不同
- 手工方式下，建立SA所需的全部参数，包括加密、验证密钥，都需要用户手工配置，也只能手工刷新；IKE方式下，建立SA需要的加密、验证密钥是通过DH算法生成的，可以动态刷新，因而密钥管理成本低，且安全性较高。
- 生存周期不同
- 手工方式建立的SA，一经建立永久存在；IKE方式建立的SA，其生存周期由双方配置的生存周期参数控制。
综上，手工方式适用于对等体设备数量较少时，或是在小型网络中。对于中大型网络，推荐使用IKE自动协商建立SA。
IPSec安全协议
IPSec使用认证头AH（Authentication Header）和封装安全载荷ESP（Encapsulating Security Payload）两种安全协议来传输和封装数据，提供认证或加密等安全服务。
AH协议
AH（Authentication Header）报文头验证协议，主要提供的功能有数据源验证、数据完整性校验和防报文重放功能；然而，AH并不加密所保护的数据报文。
AH在每一个数据包的标准IP报头后面添加一个AH报文头，AH报文头所示。AH对数据包和认证密钥进行Hash计算，接收方收到带有计算结果的数据包后，执行同样的Hash计算并与原计算结果比较，传输过程中对数据的任何更改将使计算结果无效，这样就提供了数据来源认证和数据完整性校验。AH协议的完整性验证范围为整个IP报文。
ESP协议
ESP（Encapsulating Security Payload）ESP是封装安全载荷协议，支持认证和加密功能。
ESP在每一个数据包的标准IP报头后面添加一个ESP报文头，并在数据包后面追加一个ESP尾（ESP Trailer和ESP Auth data），如下图封装模式所示。与AH不同的是，ESP将数据中的有效载荷进行加密后再封装到数据包中，以保证数据的机密性，但ESP没有对IP头的内容进行保护，除非IP头被封装在ESP内部（采用隧道模式）。
AH协议和ESP协议比较
AH和ESP协议的简单比较如下表所示。
| 安全特性 | AH | ESP |
| 协议号 | 51 | 50 |
| 数据完整性校验 | 支持（验证整个IP报文） | 支持（不验证IP头） |
| 数据源验证 | 支持 | 支持 |
| 数据加密 | 不支持 | 支持 |
| 防报文重放攻击 | 支持 | 支持 |
| IPSec NAT-T（NAT穿越） | 不支持 | 支持 |
从表中可以看出两个协议各有优缺点，AH协议不提供数据加密功能，ESP的验证范围不包括IP头，故在安全性要求较高的场景中可以考虑联合使用AH协议和ESP协议。
封装模式
封装模式是指将AH或ESP相关的字段插入到原始IP报文中，以实现对报文的认证和加密，封装模式有传输模式和隧道模式两种。
传输模式
在传输模式中，AH头或ESP头被插入到IP头与传输层协议头之间，保护TCP/UDP/ICMP负载。传输模式不改变报文头，故隧道的源和目的地址必须与IP报文头中的源和目的地址一致，所以只适合两台主机或一台主机和一台VPN网关之间通信。
以TCP报文为例，原始报文经过传输模式封装后，报文格式如下图所示。
传输模式下，AH协议的完整性验证范围为整个IP报文。ESP协议验证报文的完整性检查部分包括ESP头、传输层协议头、数据和ESP报尾，但不包括IP头，因此ESP协议无法保证IP头的安全。ESP的加密部分包括传输层协议头、数据和ESP报尾。
隧道模式
在隧道模式下，AH头或ESP头被插到原始IP头之前，另外生成一个新的报文头放到AH头或ESP头之前，保护IP头和负载。隧道模式主要应用于两台VPN网关之间或一台主机与一台VPN网关之间的通信。
以TCP报文为例，原始报文经隧道模式封装后的报文结构如图2所示。
隧道模式下，AH协议的完整性验证范围为包括新增IP头在内的整个IP报文。ESP协议验证报文的完整性检查部分包括ESP头、原IP头、传输层协议头、数据和ESP报尾，但不包括新IP头，因此ESP协议无法保证新IP头的安全。ESP的加密部分包括原IP头、传输层协议头、数据和ESP报尾。
传输模式和隧道模式比较
传输模式和隧道模式的区别在于：
- 从安全性来讲，隧道模式优于传输模式。它可以完全地对原始IP数据包进行验证和加密。隧道模式下可以隐藏内部IP地址，协议类型和端口。
- 从性能来讲，隧道模式因为有一个额外的IP头，所以它将比传输模式占用更多带宽。
加密
加密是一种将数据按照某种算法从明文转换成密文的过程，接收方只有在拥有正确的密钥的情况下才能对密文进行解密，从而保证数据的机密性，防止数据在传输过程中被窃听。IPSec工作过程中涉及数据加密和协议消息加密两种加密情况。
数据加密
IPSec采用对称加密算法对数据进行加密和解密。对称加密算法是指数据发送方和接收方使用相同的密钥进行加密、解密。
采用对称加密算法进行数据加密和解密的过程如下图所示。
协议消息加密
协议消息加密用于IKE协商阶段。用于加密的对称密钥通过IKE协议自动协商生成。
验证
验证指IP通信的接收方确认数据发送方的真实身份以及数据在传输过程中是否遭篡改。前者称为数据源验证，后者称为数据完整性验证，IPSec通过这两种验证保证数据真实可靠。
虽然加密后的数据只能通过原始的加密密钥进行解密，但是无法验证解密后的信息是否是原始发送的信息。另外加密和解密的过程非常的消耗CPU，恶意用户可能会通过发送欺骗数据包，占用CPU资源。HMAC（Keyed-Hash Message Authentication Code）功能通过比较数字签名进行数据包完整性和真实性验证，这个过程消耗的CPU资源非常少，效率非常高。因此，IPSec采用HMAC功能进行验证。
用于验证的对称密钥也可以手工配置，或者通过IKE协议自动协商生成。在IPSec发送方，加密和验证通常配合使用。加密后的报文经HMAC生成数字签名，IP报文和数字签名同时发给对端（数字签名填写在AH和ESP报文头的完整性校验值ICV字段）；在IPSec接收方，通过比较数字签名进行数据完整性和真实性验证，验证不通过的报文直接丢弃，验证通过的报文再进行解密。加密和HMAC验证配合使用的过程如下图所示。
密钥交换
使用对称密钥进行加密、验证时，如何安全地共享密钥是一个很重要的问题。有两种方法解决这个问题：
- 带外共享密钥
- 在发送、接收设备上手工配置静态的加密、验证密钥。双方通过带外共享的方式（例如通过电话或邮件方式）保证密钥一致性。这种方式的缺点是可扩展性差，在点到多点组网中配置密钥的工作量成倍增加。另外，为提升网络安全性需要周期性修改密钥，这种方式下也很难实施。
- 使用一个安全的密钥分发协议
- 通过IKE协议自动协商密钥。IKE采用DH（Diffie-Hellman）算法在不安全的网络上安全地分发密钥。这种方式配置简单，可扩展性好，特别是在大型动态的网络环境下此优点更加突出。同时，通信双方通过交换密钥交换材料来计算共享的密钥，即使第三方截获了双方用于计算密钥的所有交换数据，也无法计算出真正的密钥。
IKE协议
因特网密钥交换IKE（Internet Key Exchange）协议建立在Internet安全联盟和密钥管理协议ISAKMP定义的框架上，是基于UDP的应用层协议。它为IPSec提供了自动协商密钥、建立IPSec安全联盟的服务，能够简化IPSec的使用和管理，大大简化IPSec的配置和维护工作。
IKE与IPSec的关系如图1所示，对等体之间建立一个IKE SA完成身份验证和密钥信息交换后，在IKE SA的保护下，根据配置的AH/ESP安全协议等参数协商出一对IPSec SA。此后，对等体间的数据将在IPSec隧道中加密传输。
IPSec保护的数据流
IPSec是基于定义的感兴趣流触发对特定数据的保护，至于什么样的数据是需要IPSec保护的，可以通过以下两种方式定义。其中IPSec感兴趣流即需要IPSec保护的数据流。
- ACL方式
- 手工方式和IKE自动协商方式建立的IPSec隧道是由ACL来指定要保护的数据流范围，筛选出需要进入IPSec隧道的报文，ACL规则允许（permit）的报文将被保护，未匹配任何permit规则的报文将不被保护。这种方式可以利用ACL的丰富配置功能，根据IP地址、端口、协议类型等对报文进行过滤进而灵活制定IPSec的保护方法。
- 路由方式
- 通过IPSec虚拟隧道接口建立IPSec隧道，将所有路由到IPSec虚拟隧道接口的报文都进行IPSec保护，根据该路由的目的地址确定哪些数据流需要IPSec保护。其中IPSec虚拟隧道接口是一种三层逻辑接口。