天天看点

聊聊IOCP,聊聊异步编程

前言

IO完成端口(IO completion ports)在多核计算机的并行异步IO请求方面提供了一种高效的线程模型。当进程创建一个IO完成端口时,系统创建一个相关联的队列,其唯一目的是服务与那些请求。IO完成端口通常和预先分配的线程池配合,相比于一个一个创建线程,这使其更快更高效。IOCP在进程之间并不共享,一个IOCP及其句柄只和创建它的进程关联,但是一个进程中的多个线程可共享。IOCP最关键的地方就是,IOCP在IO请求和接收动作完成之后,激活线程池中的任意线程继续操作,而不是在IO请求和接受完成之后,激活原等待中的线程。这样的好处是防止等待线程闲置,和必须激活/切换到原等待线程的开销。

大多应用存在的问题

曾见过很多服务,几台,几十台,几百台服务器的,它们cpu大多数时间处于空闲状态,也许需要大量计算的应用并没有那么多,我们常见的应用大多主要读写关系数据库,读写内存数据库/缓存,RPC调用接口。IO耗时过多,CPU大量闲置,导致没看到服务器资源大量消耗,便已不能承受日益增加的访问量,再加服务器,依然大量浪费了资源。 CPU资源昂贵,每一个核心,同一时刻只能有一个线程在运行,超线程cpu同一时刻可以有两个逻辑线程运行,所以说线程不是创建的越多越好,过多的线程只会增加线程切换带来的成本。试想一下,如果应用线程池的线程,都在同步等待IO操作的结束,线程池中也就没有空闲线程继续处理请求,所以线程池会继续创建线程以提供服务。恶性循环,则会带来线程过多的成本,好在线程池不会让这样的事发生。那么到达服务器无法处理更多请求的程度时,http 503便出现了。

windows下使用IOCP

异步IO在于线程非阻塞,提高CPU利用率,增加服务器吞吐量,助我们承受更大的并发。在windows下使用IOCP,可以直接使用C#异步编程await/async。虽然C#可以直接操作win32API,但.NET平台已提供好异步IO的操作封装,只需要简单的语法,即可完成异步磁盘IO,异步HTTP请求,异步SOCKET,基于.NET框架现有的条件,也很容易做关系数据库,redis,ElasticSearch,mongodb的异步读写。所以推荐在windows下的IO尽可能使用IOCP。IOCP本质上解决的问题就是CPU和IO速度极大的不对等。

基于IOCP的异步编程线程行为证明

简单写了个API接口,用于证明在异步IO操作的时候,线程并不阻塞等待IO结束,而是将请求交给驱动后返回线程池,继续工作。

聊聊IOCP,聊聊异步编程

图中代码操作是先记录当前请求处理中的线程ID,然后请求一个10s返回的网络接口。用http客户端并发请求图中该接口后,我们稍后给出线程行为的结论。 我们都知道,如果说服务端线程是IO阻塞的,第一次请求,如果记录了线程ID为1,那么在10s内,该线程一直在阻塞等待,所以10s内不会再出现该线程ID被记录到日志中。 事实上结论是:

聊聊IOCP,聊聊异步编程

可以看到在同一秒甚至同一毫秒内,一个线程同时处理了多次http请求。另外可以确定的一个事实是,IO前和IO后,线程可能是不一样的,也可能是一样的。

感谢志同道合的你的阅读,如果你希望长期学习到 .Net , Java , Kotlin ,Python 等原理知识,互联网实践干货,技术感悟等,不妨 关注博客,或者闲暇时在微信公众号上阅读。

聊聊IOCP,聊聊异步编程