服务器开发之大量time_wait 和 close_wait现象(该文的直接有代码)
https://blog.csdn.net/haolipengzhanshen/article/details/80808435
关闭TCP时，状态变化的解释过程：
从客户端来看：
1.客户端主动断开连接时,会先发送FIN包，客户端此时进入FIN_WAIT_1状态;
2.客户端收到服务器的ACK包（对步骤1中FIN包的应答）后，客户端进入FIN_WAIT_2状态;
3.客户端接收到服务器的FIN包并回复ACK包给服务端，然后客户端进入TIME_WAIT状态，此时会等待2个MSL的时间，
确保发送的ACK包是否达到了对端。
4.客户端在等待了2个MSL的时间没有收到服务器重传的FIN包，就默认ACK数据包已经抵达了对端。
从服务端来看：
1.服务器收到客户端发送的FIN数据包后，回复ACK包给客户端，此时服务器进入CLOSE_WAIT状态
2.等待服务器将剩余的数据全部发送给客户端时,然后执行断开操作,（老夫把该做的事都做了，然后再给这小子发送FIN包来结束，哈哈，姜还是老的辣！）
服务器向客户端发送出FIN包后,服务器端进入LAST_ACK状态，等待最后一个ACK确认包。
3.服务端收到客户端发送的ACK包后，从LAST_ACK状态转为CLOSED状态，服务器正式关闭了
示例：
用实例来说明如何正确关闭TCP连接
client.c
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#define MAXLINE 80
#define SERV_PORT 8000
int main(int argc, char *argv[])
{
struct sockaddr_in servaddr;
char str[MAXLINE] = "test ";
int sockfd, n;
while(1)
{
sockfd = socket(AF_INET, SOCK_STREAM, 0);
bzero(&servaddr, sizeof(servaddr));
servaddr.sin_family = AF_INET;
inet_pton(AF_INET, "192.168.254.26", &servaddr.sin_addr);
servaddr.sin_port = htons(SERV_PORT);
connect(sockfd, (struct sockaddr *)&servaddr, sizeof(servaddr));
write(sockfd, str, strlen(str));
close(sockfd);
sleep(2);
}
return 0;
}
server端代码
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <iostream>
#include <sys/mman.h>
#include <sys/stat.h> /* For mode constants */
#include <fcntl.h> /* For O_* constants */
#include <unistd.h>
#include <arpa/inet.h>
using namespace std;
#define LENGTH 128
#include "netinet/in.h"
#define MAXLINE 80
#define SERV_PORT 8000
int main(int argc,char** argv)
{
struct sockaddr_in servaddr, cliaddr;
socklen_t cliaddr_len;
int listenfd;
char buf[MAXLINE];
char str[INET_ADDRSTRLEN];
//int i, n;
int n;
//创建socket
listenfd = socket(AF_INET, SOCK_STREAM, 0);
//设置端口重用
int opt = 1;
setsockopt(listenfd, SOL_SOCKET, SO_REUSEADDR, &opt, sizeof(opt));
//fcntl(sockfd, F_SETFL, fcntl(sockfd, F_GETFL, 0) | O_NONBLOCK);
bzero(&servaddr, sizeof(servaddr));
servaddr.sin_family = AF_INET;
inet_pton(AF_INET,"192.168.254.26",&(servaddr.sin_addr.s_addr));
//servaddr.sin_addr.s_addr = htonl(INADDR_ANY);
servaddr.sin_port = htons(SERV_PORT);
bind(listenfd, (struct sockaddr *)&servaddr, sizeof(servaddr));
listen(listenfd, 20);
printf("Accepting connections ...\n");
while (1)
{
cliaddr_len = sizeof(cliaddr);
int connfd = accept(listenfd,
(struct sockaddr *)&cliaddr, &cliaddr_len);
//while(1)
{
n = recv(connfd, buf, MAXLINE,0);
if (n == 0)
{
//对端主动关闭
printf("the other side has been closed.\n");
//break;
}
printf("received from %s at PORT %d len = %d\n",
inet_ntop(AF_INET, &cliaddr.sin_addr, str, sizeof(str)),
ntohs(cliaddr.sin_port),n);
}
//测试:模拟CLOSE_WAIT状态时，将close(connfd);这句代码注释
close(connfd);
}
return 0;
}
其中特别重要的部分如下图所示：
测试代码中，当recv的返回值为0时（对端主动关闭连接），会跳出while(1)循环，此时正确做法是调用close关闭tcp连接。
此处我们为了测试，故意将close(connfd)这句代码注释掉，注释后服务器对于客户端发送的FIN包不会做回应，一直保持close_wait状态。
我们来分析，什么情况下，连接处于CLOSE_WAIT状态呢？
在被动关闭连接情况下，在已经接收到FIN，但是还没有发送自己的FIN的时刻，连接处于CLOSE_WAIT状态。
通常来讲，CLOSE_WAIT状态的持续时间应该很短，正如SYN_RCVD状态。但是在一些特殊情况下，就会出现连接长时间处于CLOSE_WAIT状态的情况。
出现大量close_wait的现象，主要原因是某种情况下对方关闭了socket链接，但是我方忙与读或者写，没有关闭连接。
在被动关闭方，代码需要判断socket，一旦读到0（用read()或者recv()之类的函数），断开连接，read返回负，检查一下errno，如果不是AGAIN，就断开连接。
----------------------------华丽的分割-------------------------------------------------------------------
服务器中判断客户端socket断开连接的方法、服务器正确关闭socket的方法
https://www.cnblogs.com/jacklikedogs/p/3976208.html
如果服务端的Socket比客户端的Socket先关闭，会导致客户端出现TIME_WAIT状态，占用系统资源。
所以，必须等客户端先关闭Socket后，服务器端再关闭Socket才能避免TIME_WAIT状态的出现。
1, 如果服务端的Socket比客户端的Socket先关闭，会导致客户端出现TIME_WAIT状态，占用系统资源。
所以，必须等客户端先关闭Socket后，服务器端再关闭Socket才能避免TIME_WAIT状态的出现。
2, 在linux下写socket的程序的时候，如果尝试send到一个disconnected socket上，就会让底层抛出一个SIGPIPE信号。
client端通过 pipe 发送信息到server端后，就关闭client端, 这时server端,返回信息给 client 端时就产生Broken pipe 信号了。
当服务器close一个连接时，若client端接着发数据。根据TCP协议的规定，会收到一个RST响应，client再往这个服务器发送数据时，系统会发出一个SIGPIPE信号给进程，告诉进程这个连接已经断开了，不要再写了。
根据信号的默认处理规则SIGPIPE信号的默认执行动作是terminate(终止、退出),所以client会退出。若不想客户端退出可以把SIGPIPE设为SIG_IGN 如: signal(SIGPIPE,SIG_IGN);
这时SIGPIPE交给了系统处理。
这个信号的缺省处理方法是退出进程，大多数时候这都不是我们期望的。因此我们需要重载这个信号的处理方法。调用以 下代码，即可安全的屏蔽SIGPIPE：
struct sigaction sa;
sa.sa_handler = SIG_IGN;
sigaction( SIGPIPE, &sa, 0 );
服务器采用了fork的话，要收集垃圾进程，防止僵尸进程的产生，可以这样处理：
signal(SIGCHLD,SIG_IGN); 交给系统init去回收。
这里子进程就不会产生僵尸进程了。
判断连接断开的方法
法一：
当recv()返回值小于等于0时，socket连接断开。但是还需要判断 errno是否等于 EINTR，如果errno == EINTR 则说明recv函数是由于程序接收到信号后返回的，socket连接还是正常的，不应close掉socket连接。
法二：
struct tcp_info info;
int len=sizeof(info);
getsockopt(sock, IPPROTO_TCP, TCP_INFO, &info, (socklen_t *)&len);
if((info.tcpi_state==TCP_ESTABLISHED)) 则说明未断开 else 断开
法三：
若使用了select等系统函数，若远端断开，则select返回1，recv返回0则断开。其他注意事项同法一。
法四：
int keepAlive = 1; // 开启keepalive属性
int keepIdle = 60; // 如该连接在60秒内没有任何数据往来,则进行探测
int keepInterval = 5; // 探测时发包的时间间隔为5 秒
int keepCount = 3; // 探测尝试的次数.如果第1次探测包就收到响应了,则后2次的不再发.
setsockopt(rs, SOL_SOCKET, SO_KEEPALIVE, (void )&keepAlive, sizeof(keepAlive));
setsockopt(rs, SOL_TCP, TCP_KEEPIDLE, (void)&keepIdle, sizeof(keepIdle));
setsockopt(rs, SOL_TCP, TCP_KEEPINTVL, (void *)&keepInterval, sizeof(keepInterval));
setsockopt(rs, SOL_TCP, TCP_KEEPCNT, (void *)&keepCount, sizeof(keepCount));
设置后，若断开，则在使用该socket读写时立即失败，并返回ETIMEDOUT错误
法五：
自己实现一个心跳检测，一定时间内未收到自定义的心跳包则标记为已断开。
法六：一种完善但复杂的方案：
（1）定义receive函数
最近试验发现，当客户端Socket关闭时，服务端的Socket会接收到0字节的通知。
private int Receive(StringBuilder sb)
{
int read = 0, total = 0;
if (_Client != null)
{
try
{
byte[] bytes = new byte[SIZE];
int available = _Client.Available;
do
{
read = _Client.Receive(bytes);//如果客户端Socket关闭，_Client会接受到read=0
total += read;
if (read > 0)
sb.Append(_Server.DefaultEncoding.GetString(bytes, 0, read));
} while (read > 0 && total < available);
}
catch (SocketException)
{
CloseSocket();
}
}
if (_Server.TraceInConsole && total > 0)
{
Console.WriteLine("Receive:" + total + "======================================");
Console.WriteLine(sb.ToString());
}
return total;
}
（2）利用0字节接收条件判断客户端Socket的关闭，调用TryCloseSocket()函数。
private void ThreadHandler()
{
if (_Server.TraceInConsole)
Console.WriteLine("Begin HttpRequest...");
try
{
while (true)
{
StringBuilder sb = new StringBuilder();
int receive = Receive(sb);
if (receive > 0)
{
_Server.ReadRequest(this, sb.ToString());
_Server.Response(this);
_Server.ResponseFinished(this);
}
else
{
TryCloseSocket();
}
if (_Client == null)
break;
}
}
catch (Exception ex)
{
if (_Server.TraceInConsole)
Console.WriteLine(ex.Message);
}
if (_Server.TraceInConsole)
Console.WriteLine("End HttpRequest.");
}
（3）用TryCloseSocket()函数，关闭Socket
如果直接调用Socket的Close方法会关闭得太快，可能导致客户端TIME_WAIT现象；而Thead.Sleep延时再调用Socket的Close方法也不理想。应该采用尝试向客户端发送数据，然后利用异常来关闭Socket，方法如下。
private void TryCloseSocket()
{
try
{
while (true)
{
Thread.Sleep(1500);
Send(HttpServer.BYTES_CRLF); //发送自定义的字节，如果客户端关闭出现SocketException，然后关闭服务端Socket
if (_Client == null)
break;
}
}
catch (SocketException)
{
CloseSocket();
}
}
private void CloseSocket()
{
if (_Client != null)
{
_Client.Shutdown(SocketShutdown.Both);
_Client.Close();
_Client = null;
if (_Server.TraceInConsole)
{
Console.WriteLine("Close socket.");
}
}
}