天天看點

Socket I/O模型全接觸(轉)

本文簡單介紹了目前Windows支援的各種Socket I/O模型,如果你發現其中存在什麼錯誤請務必賜教。

    一:select模型

    二:WSAAsyncSelect模型

    三:WSAEventSelect模型

    四:Overlapped I/O 事件通知模型

    五:Overlapped I/O 完成例程模型

    六:IOCP模型

    老陳有一個在外地工作的女兒,不能經常回來,老陳和她通過信件聯系。他們的信會被郵差投遞到他們的信箱裡。

    這和Socket模型非常類似。下面我就以老陳接收信件為例講解Socket I/O模型~~~

一:select模型

老陳非常想看到女兒的信。以至于他每隔10分鐘就下樓檢查信箱,看是否有女兒的信~~~~~

在這種情況下,“下樓檢查信箱”然後回到樓上耽誤了老陳太多的時間,以至于老陳無法做其他工作。

select模型和老陳的這種情況非常相似:周而複始地去檢查......如果有資料......接收/發送.......

使用線程來select應該是通用的做法:

Socket I/O模型全接觸(轉)

Code

procedure TListenThread.Execute;

var

  addr     : TSockAddrIn;

Socket I/O模型全接觸(轉)

  fd_read  : TFDSet;

Socket I/O模型全接觸(轉)

  timeout  : TTimeVal;

Socket I/O模型全接觸(轉)

  ASock,

Socket I/O模型全接觸(轉)

  MainSock : TSocket;

Socket I/O模型全接觸(轉)

  len, i   : Integer;

Socket I/O模型全接觸(轉)

begin

Socket I/O模型全接觸(轉)

  MainSock := socket( AF_INET, SOCK_STREAM, IPPROTO_TCP );

Socket I/O模型全接觸(轉)

  addr.sin_family := AF_INET;

Socket I/O模型全接觸(轉)

  addr.sin_port := htons(5678);

Socket I/O模型全接觸(轉)

  addr.sin_addr.S_addr := htonl(INADDR_ANY);

Socket I/O模型全接觸(轉)

  bind( MainSock, @addr, sizeof(addr) );

Socket I/O模型全接觸(轉)

  listen( MainSock, 5 );

Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)

  while (not Terminated) do

Socket I/O模型全接觸(轉)

  begin

Socket I/O模型全接觸(轉)

    FD_ZERO( fd_read );

Socket I/O模型全接觸(轉)

    FD_SET( MainSock, fd_read );

Socket I/O模型全接觸(轉)

    timeout.tv_sec  := 0;

Socket I/O模型全接觸(轉)

    timeout.tv_usec := 500;

Socket I/O模型全接觸(轉)

    if select( 0, @fd_read, nil, nil, @timeout ) > 0 then {//至少有1個等待Accept的connection}

Socket I/O模型全接觸(轉)

    begin

Socket I/O模型全接觸(轉)

      if FD_ISSET( MainSock, fd_read ) then

Socket I/O模型全接觸(轉)

      begin

Socket I/O模型全接觸(轉)

        for i:=0 to fd_read.fd_count-1 do {//注意,fd_count <= 64,也就是說select隻能同時管理最多64個連接配接}

Socket I/O模型全接觸(轉)

        begin

Socket I/O模型全接觸(轉)

          len := sizeof(addr);

Socket I/O模型全接觸(轉)

          ASock := accept( MainSock, addr, len );

Socket I/O模型全接觸(轉)

          if ASock <> INVALID_SOCKET then

Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)

.{//為ASock建立一個新的線程,在新的線程中再不停地select}

Socket I/O模型全接觸(轉)

        end; 

Socket I/O模型全接觸(轉)

      end; 

Socket I/O模型全接觸(轉)

    end; 

Socket I/O模型全接觸(轉)

  end; {//while (not self.Terminated)}

Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)

  shutdown( MainSock, SD_BOTH );

Socket I/O模型全接觸(轉)

  closesocket( MainSock );

Socket I/O模型全接觸(轉)

end;

二:WSAAsyncSelect模型

後來,老陳使用了微軟公司的新式信箱。這種信箱非常先進,一旦信箱裡有新的信件,蓋茨就會給老陳打電話:喂,大爺,你有新的信件了!從此,老陳再也不必頻繁上下樓檢查信箱了,牙也不疼了,你瞅準了,藍天......不是,微軟~~~~~~~~

微軟提供的WSAAsyncSelect模型就是這個意思。

WSAAsyncSelect模型是Windows下最簡單易用的一種Socket I/O模型。使用這種模型時,Windows會把網絡事件以消息的形勢通知應用程式。

首先定義一個消息标示常量:

const WM_SOCKET = WM_USER + 55;

再在主Form的private域添加一個處理此消息的函數聲明:

Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)

private

  procedure WMSocket(var Msg: TMessage); message WM_SOCKET;

{然後就可以使用WSAAsyncSelect了:}

  addr  : TSockAddr;

  sock  : TSocket;

  sock := socket( AF_INET, SOCK_STREAM, IPPROTO_TCP );

  bind( m_sock, @addr, sizeof(SOCKADDR) );

  WSAAsyncSelect( m_sock, Handle, WM_SOCKET, FD_ACCEPT or FD_CLOSE );

  listen( m_sock, 5 );

Socket I/O模型全接觸(轉)

應用程式可以對收到WM_SOCKET消息進行分析,判斷是哪一個socket産生了網絡事件以及事件類型:

Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)

procedure TfmMain.WMSocket(var Msg: TMessage);

  sock    : TSocket;

  addr    : TSockAddrIn;

  addrlen : Integer;

  buf     : Array [0..4095] of Char;

  {//Msg的WParam是産生了網絡事件的socket句柄,LParam則包含了事件類型}

  case WSAGetSelectEvent( Msg.LParam ) of

    FD_ACCEPT :

      addrlen := sizeof(addr);

      sock := accept( Msg.WParam, addr, addrlen );

      if sock <> INVALID_SOCKET then

         WSAAsyncSelect( sock, Handle, WM_SOCKET, FD_READ or FD_WRITE or FD_CLOSE );

    end;

    FD_CLOSE : closesocket( Msg.WParam );

    FD_READ  : recv( Msg.WParam, buf[0], 4096, 0 );

    FD_WRITE : ;

  end;  

三:WSAEventSelect模型

後來,微軟的信箱非常暢銷,購買微軟信箱的人以百萬計數......以至于蓋茨每天24小時給客戶打電話,累得腰酸背痛,喝蟻力神都不好使~~~~~~

微軟改進了他們的信箱:在客戶的家中添加一個附加裝置,這個裝置會監視客戶的信箱,每當新的信件來臨,此裝置會發出“新信件到達”聲,提醒老陳去收信。蓋茨終于可以睡覺了。

同樣要使用線程:

Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)

  hEvent : WSAEvent;

Socket I/O模型全接觸(轉)

  ret    : Integer;

Socket I/O模型全接觸(轉)

  ne     : TWSANetworkEvents;

Socket I/O模型全接觸(轉)

  sock   : TSocket;

Socket I/O模型全接觸(轉)

  adr    : TSockAddrIn;

Socket I/O模型全接觸(轉)

  sMsg   : String;

Socket I/O模型全接觸(轉)

  Index,

Socket I/O模型全接觸(轉)

  EventTotal : DWORD;

Socket I/O模型全接觸(轉)

  EventArray : Array [0..WSA_MAXIMUM_WAIT_EVENTS-1] of WSAEVENT;

Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)

socket

Socket I/O模型全接觸(轉)

bind

Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)

  hEvent := WSACreateEvent();

Socket I/O模型全接觸(轉)

  WSAEventSelect( ListenSock, hEvent, FD_ACCEPT or FD_CLOSE );

Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)

listen

Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)

  while ( not Terminated ) do

Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)

    Index := WSAWaitForMultipleEvents( EventTotal, @EventArray[0], FALSE, WSA_INFINITE, FALSE );

Socket I/O模型全接觸(轉)

    FillChar( ne, sizeof(ne), 0 );

Socket I/O模型全接觸(轉)

    WSAEnumNetworkEvents( SockArray[Index-WSA_WAIT_EVENT_0],  EventArray[Index-WSA_WAIT_EVENT_0], @ne );

Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)

    if ( ne.lNetworkEvents and FD_ACCEPT ) > 0 then

Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)

      if ne.iErrorCode[FD_ACCEPT_BIT] <> 0 then

Socket I/O模型全接觸(轉)

         continue;

Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)

      ret := sizeof(adr);

Socket I/O模型全接觸(轉)

      sock := accept( SockArray[Index-WSA_WAIT_EVENT_0], adr, ret );

Socket I/O模型全接觸(轉)

      if EventTotal > WSA_MAXIMUM_WAIT_EVENTS-1 then{//這裡WSA_MAXIMUM_WAIT_EVENTS同樣是64}

Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)

        closesocket( sock );

Socket I/O模型全接觸(轉)

        continue;

Socket I/O模型全接觸(轉)

      end;

Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)

      hEvent := WSACreateEvent();

Socket I/O模型全接觸(轉)

      WSAEventSelect( sock, hEvent, FD_READ or FD_WRITE or FD_CLOSE );

Socket I/O模型全接觸(轉)

      SockArray[EventTotal] := sock;

Socket I/O模型全接觸(轉)

      EventArray[EventTotal] := hEvent;

Socket I/O模型全接觸(轉)

      Inc( EventTotal );

Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)

    if ( ne.lNetworkEvents and FD_READ ) > 0 then

Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)

      if ne.iErrorCode[FD_READ_BIT] <> 0 then

Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)

      FillChar( RecvBuf[0], PACK_SIZE_RECEIVE, 0 );

Socket I/O模型全接觸(轉)

      ret := recv( SockArray[Index-WSA_WAIT_EVENT_0], RecvBuf[0], PACK_SIZE_RECEIVE, 0 );

Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)

  end;

Socket I/O模型全接觸(轉)

四:Overlapped I/O 事件通知模型

後來,微軟通過調查發現,老陳不喜歡上下樓收發信件,因為上下樓其實很浪費時間。于是微軟再次改進他們的信箱。新式的信箱采用了更為先進的技術,隻要使用者告訴微軟自己的家在幾樓幾号,新式信箱會把信件直接傳送到使用者的家中,然後告訴使用者,你的信件已經放到你的家中了!老陳很高興,因為他不必再親自收

發信件了!

Overlapped I/O事件通知模型和WSAEventSelect模型在實作上非常相似,主要差別在“Overlapped”,Overlapped模型是讓應用程式使用重疊

資料結構(WSAOVERLAPPED),一次投遞一個或多個Winsock

I/O請求。這些送出的請求完成後,應用程式會收到通知。什麼意思呢?就是說,如果你想從socket上接收資料,隻需要告訴系統,由系統為你接收資料,

而你需要做的隻是為系統提供一個緩沖區~~~~~

Listen線程和WSAEventSelect模型一模一樣,Recv/Send線程則完全不同:

Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)

procedure TOverlapThread.Execute;

  dwTemp : DWORD;

  Index  : DWORD;

    Index := WSAWaitForMultipleEvents( FLinks.Count, @FLinks.Events[0], FALSE, RECV_TIME_OUT, FALSE );

    Dec( Index, WSA_WAIT_EVENT_0 );

    if Index > WSA_MAXIMUM_WAIT_EVENTS-1 then {//逾時或者其他錯誤}

       continue;

    WSAResetEvent( FLinks.Events[Index] );

    WSAGetOverlappedResult( FLinks.Sockets[Index], FLinks.pOverlaps[Index], @dwTemp, FALSE, FLinks.pdwFlags[Index]^ );

    if dwTemp = 0 then {//連接配接已經關閉}

      continue;

    end else

      fmMain.ListBox1.Items.Add( FLinks.pBufs[Index]^.buf );

    {//初始化緩沖區}

    FLinks.pdwFlags[Index]^ := 0;

    FillChar( FLinks.pOverlaps[Index]^, sizeof(WSAOVERLAPPED), 0 );

    FLinks.pOverlaps[Index]^.hEvent := FLinks.Events[Index];

    FillChar( FLinks.pBufs[Index]^.buf^, BUFFER_SIZE, 0 );

    {//遞一個接收資料請求}

    WSARecv( FLinks.Sockets[Index], FLinks.pBufs[Index], 1, FLinks.pdwRecvd[Index]^, FLinks.pdwFlags[Index]^, FLinks.pOverlaps[Index], nil );

五:Overlapped I/O 完成例程模型

老陳接收到新的信件後,一般的程式是:打開信封----掏出信紙----閱讀信件----回複信件......為了進一步減輕使用者負擔,微軟又開發了一種新的技術:使用者隻要告訴微軟對信件的操作步驟,微軟信箱将按照這些步驟去處理信件,不再需要使用者親自拆信/閱讀/回複了!老陳終于過上了小資生活!

Overlapped I/O 完成例程要求使用者提供一個回調函數,發生新的網絡事件的時候系統将執行這個函數:

Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)

procedure WorkerRoutine( const dwError, cbTransferred : DWORD; const

          lpOverlapped : LPWSAOVERLAPPED; const dwFlags : DWORD ); stdcall;

然後告訴系統用WorkerRoutine函數處理接收到的資料:

WSARecv( m_socket, @FBuf, 1, dwTemp, dwFlag, @m_overlap, WorkerRoutine );

然後......沒有什麼然後了,系統什麼都給你做了!微軟真實體貼!

Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)

while ( not Terminated ) do{//這就是一個Recv/Send線程要做的事情什麼都不用做啊!!!}

  if SleepEx( RECV_TIME_OUT, True ) = WAIT_IO_COMPLETION then {//}

    ;

  end else

    continue;

六:IOCP模型

微軟信箱似乎很完美,老陳也很滿意。但是在一些大公司情況卻完全不同!這些大公司有數以萬計的信箱,每秒鐘都有數以百計的信件需要處理,以至于微軟信箱經常因超負荷運轉而崩潰!需要重新啟動!微軟不得不使出殺手锏......

微軟給每個大公司派了一名名叫“Completion Port”的超級機器人,讓這個機器人去處理那些信件!

“WindowsNT小組注意到這些應用程式的性能沒有預料的那麼高。特别的,處理很多同時的客戶請求意味着很多線程并發地運作在系統中。因為所有這些線程都是可運作的

[沒有被挂起和等待發生什麼事],Microsoft意識到NT核心花費了太多的時間來轉換運作線程的上下文[Context],線程就沒有得到很多

CPU時間來做它們的工作。大家可能也都感覺到并行模型的瓶頸在于它為每一個客戶請求都建立了一個新線程。建立線程比起建立程序開銷要小,但也遠不是沒有

開銷的。我們不妨設想一下:如果事先開好N個線程,讓它們在那hold[堵塞],然後可以将所有使用者的請求都投遞到一個消息隊列中去。然後那N個線程逐一

從消息隊列中去取出消息并加以處理。就可以避免針對每一個使用者請求都開線程。不僅減少了線程的資源,也提高了線程的使用率。理論上很不錯,你想我等泛泛之

輩都能想出來的問題,Microsoft又怎會沒有考慮到呢?”-----摘自nonocast的《了解I/O Completion Port》

先看一下IOCP模型的實作:

Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)

{建立一個完成端口}

FCompletPort := CreateIoCompletionPort( INVALID_HANDLE_VALUE, 0,0,0 );

{接受遠端連接配接,并把這個連接配接的socket句柄綁定到剛才建立的IOCP上}

AConnect := accept( FListenSock, addr, len);

CreateIoCompletionPort( AConnect, FCompletPort, nil, 0 );

{建立CPU數*2 + 2個線程}

for i:=1 to si.dwNumberOfProcessors*2+2 do

  AThread := TRecvSendThread.Create( false );

  AThread.CompletPort := FCompletPort;{//告訴這個線程,你要去這個IOCP去通路資料}

OK,就這麼簡單,我們要做的就是建立一個IOCP,把遠端連接配接的socket句柄綁定到剛才建立的IOCP上,最後建立n個線程,并告訴這n個線程到這個IOCP上去通路資料就可以了。

再看一下TRecvSendThread線程都幹些什麼:

Socket I/O模型全接觸(轉)
Socket I/O模型全接觸(轉)

procedure TRecvSendThread.Execute;

  while (not self.Terminated) do

    {查詢IOCP狀态(資料讀寫操作是否完成)}

    GetQueuedCompletionStatus( CompletPort, BytesTransd, CompletKey, POVERLAPPED(pPerIoDat), TIME_OUT );

    if BytesTransd <> 0  then

       .;{//資料讀寫操作完成}

    {//再投遞一個讀資料請求}

    WSARecv( CompletKey, @(pPerIoDat^.BufData), 1, BytesRecv, Flags, @(pPerIoDat^.Overlap), nil );

讀寫線程隻是簡單地檢查IOCP是否完成了我們投遞的讀寫操作,如果完成了則再投遞一個新的讀寫請求。

應該注意到,我們建立的所有TRecvSendThread都在通路同一個IOCP(因為我們隻建立了一個IOCP),并且我們沒有使用臨界區!難道不會産生沖突嗎?不用考慮同步問題嗎?

呵呵,這正是IOCP的奧妙所在。IOCP不是一個普通的對象,不需要考慮線程安全問題。它會自動調配通路它的線程:如果某個socket上有一個線程A正在通路,那麼線程B的通路請求會被配置設定到另外一個socket。這一切都是由系統自動調配的,我們無需過問。

繼續閱讀