小六六學Netty系列之再遇Netty

前言

種一棵樹最好的時間是十年前，其次是現在

絮叨

昨天我們看了一個Netty的基本介紹，那麼今天我們繼續學習Netty

異步模型

異步的概念和同步相對。當一個異步過程調用發出後，調用者不能立刻得到結果。實際處理這個調用的元件在完成後，通過狀态、通知和回調來通知調用者。
Netty 中的 I/O 操作是異步的，包括 Bind、Write、Connect 等操作會簡單的傳回一個 ChannelFuture。

異步模型

異步的概念和同步相對。當一個異步過程調用發出後，調用者不能立刻得到結果。實際處理這個調用的元件在完成後，通過狀态、通知和回調來通知調用者。
Netty 中的 I/O 操作是異步的，包括 Bind、Write、Connect 等操作會簡單的傳回一個 ChannelFuture。

調用者并不能立刻獲得結果，而是通過 Future-Listener 機制，使用者可以友善的主動擷取或者通過通知機制獲得 IO 操作結果

Netty 的異步模型是建立在 future 和 callback 的之上的。callback 就是回調。重點說 Future，它的核心思想是：假設一個方法 fun，計算過程可能非常耗時，等待 fun傳回顯然不合适。那麼可以在調用 fun 的時候，立馬傳回一個 Future，後續可以通過 Future去監控方法 fun 的處理過程(即： Future-Listener 機制)

Future 說明

表示異步的執行結果, 可以通過它提供的方法來檢測執行是否完成，比如檢索計算等等.ChannelFuture 是一個接口： public interface ChannelFuture extends Future我們可以添加監聽器，當監聽的事件發生時，就會通知到監聽器.

當 Future 對象剛剛建立時，處于非完成狀态，調用者可以通過傳回的 ChannelFuture 來擷取操作執行的狀态，注冊監聽函數來執行完成後的操作。常見有如下操作

通過 isDone 方法來判斷目前操作是否完成；
通過 isSuccess 方法來判斷已完成的目前操作是否成功；
通過 getCause 方法來擷取已完成的目前操作失敗的原因；
通過 isCancelled 方法來判斷已完成的目前操作是否被取消；
通過 addListener 方法來注冊監聽器，當操作已完成(isDone 方法傳回完成)，将會通知指定的監聽器；如果 Future 對象已完成，則通知指定的監聽器

使用Netty實作HTTP服務

目的：Netty 可以做Http服務開發，并且了解Handler執行個體和用戶端及其請求的關系.

TestHttpServer

package com.liuliu.nio.http;

import io.netty.bootstrap.Bootstrap;
import io.netty.bootstrap.ServerBootstrap;
import io.netty.channel.ChannelFuture;
import io.netty.channel.nio.NioEventLoopGroup;
import io.netty.channel.socket.ServerSocketChannel;
import io.netty.channel.socket.nio.NioServerSocketChannel;

/**
 * @author 小六六
 * @version 1.0
 * @date 2020/8/18 14:57
 */
public class TestHttpServer {

    public static void main(String[] args)  throws Exception {

        NioEventLoopGroup bossGroup = new NioEventLoopGroup(1);
        NioEventLoopGroup workGroup = new NioEventLoopGroup(8);
        try {
            ServerBootstrap serverBootstrap = new ServerBootstrap();
            serverBootstrap.group(bossGroup,workGroup).channel(NioServerSocketChannel.class).childHandler(new TestServerInitializer());
            ChannelFuture cf = serverBootstrap.bind(8868).sync();
            cf.channel().closeFuture().sync();
        }finally {
            bossGroup.shutdownGracefully();
            workGroup.shutdownGracefully();
        }


    }
}

TestServerInitializer

package com.liuliu.nio.http;


import io.netty.channel.ChannelInitializer;
import io.netty.channel.ChannelPipeline;
import io.netty.channel.socket.SocketChannel;
import io.netty.handler.codec.http.HttpServerCodec;

/**
 * @author 小六六
 * @version 1.0
 * @date 2020/8/18 15:04
 */
public class TestServerInitializer extends ChannelInitializer<SocketChannel> {

    @Override
    protected void initChannel(SocketChannel ch) throws Exception {

        //向管道加入處理器
        //得到管道
        ChannelPipeline pipeline = ch.pipeline();

        //加入一個netty 提供的httpServerCodec codec =>[coder - decoder]
        //HttpServerCodec 說明
        //1. HttpServerCodec 是netty 提供的處理http的 編-解碼器

        pipeline.addLast("MyHttpServerCodec",new HttpServerCodec());


        //2. 增加一個自定義的handler
        pipeline.addLast("MyTestHttpServerHandler", new TestHttpServerHandler());

        System.out.println("ok~~~~");

    }
}

TestHttpServerHandler

package com.liuliu.nio.http;

import io.netty.buffer.ByteBuf;
import io.netty.buffer.Unpooled;
import io.netty.channel.ChannelHandlerContext;
import io.netty.channel.SimpleChannelInboundHandler;
import io.netty.handler.codec.http.*;
import io.netty.util.CharsetUtil;

import java.net.URI;

/**
 * @author 小六六
 * @version 1.0
 * @date 2020/8/18 14:56
 *
 * 說明
 * 1. SimpleChannelInboundHandler 是 ChannelInboundHandlerAdapter
 * 2. HttpObject 用戶端和伺服器端互相通訊的資料被封裝成 HttpObject
 *
 */
public class TestHttpServerHandler extends SimpleChannelInboundHandler<HttpObject> {




    @Override
    protected void channelRead0(ChannelHandlerContext ctx, HttpObject msg) throws Exception {
        System.out.println("對應的channel=" + ctx.channel() + " pipeline=" + ctx
                .pipeline() + " 通過pipeline擷取channel" + ctx.pipeline().channel());

        System.out.println("目前ctx的handler=" + ctx.handler());

        if (msg instanceof HttpRequest){
            System.out.println("ctx 類型="+ctx.getClass());

            System.out.println("pipeline hashcode" + ctx.pipeline().hashCode() + " TestHttpServerHandler hash=" + this.hashCode());

            System.out.println("msg 類型=" + msg.getClass());
            System.out.println("用戶端位址" + ctx.channel().remoteAddress());

            HttpRequest httpRequest=(HttpRequest)msg;
            URI uri = new URI(httpRequest.uri());
            if("/favicon.ico".equals(uri.getPath())) {
                System.out.println("請求了 favicon.ico, 不做響應");
                return;
            }

            //回複資訊給浏覽器 [http協定]
            ByteBuf content = Unpooled.copiedBuffer("hello,小六六伺服器", CharsetUtil.UTF_8);
            //構造一個http的相應，即 httpresponse
            //構造一個http的相應，即 httpresponse
            FullHttpResponse response = new DefaultFullHttpResponse(HttpVersion.HTTP_1_1, HttpResponseStatus.OK, content);

            response.headers().set(HttpHeaderNames.CONTENT_TYPE, "text/plain;charset=utf-8");
            response.headers().set(HttpHeaderNames.CONTENT_LENGTH, content.readableBytes());

            //将建構好 response傳回
            ctx.writeAndFlush(response);
        }
    }
}

結果

Netty 核心元件一一講解

大家看上面的案例我估計都很懵逼，其實小六六也是一樣的，那接下來我們就要好好的學習學習它的各個元件

Bootstrap、ServerBootstrap

Bootstrap 意思是引導，一個 Netty 應用通常由一個 Bootstrap 開始，主要作用是配置整個 Netty 程式，串聯各個元件，Netty 中 Bootstrap 類是用戶端程式的啟動引導類，ServerBootstrap 是服務端啟動引導類

常見的方法有

public ServerBootstrap group(EventLoopGroup parentGroup, EventLoopGroup childGroup)，該方法用于伺服器端，用來設定兩個 EventLoop
public B group(EventLoopGroup group) ，該方法用于用戶端，用來設定一個 EventLoop
public B channel(Class<? extends C> channelClass)，該方法用來設定一個伺服器端的通道實作
public B option(ChannelOption option, T value)，用來給 ServerChannel 添加配置
public ServerBootstrap childOption(ChannelOption childOption, T value)，用來給接收到的通道添加配置
public ServerBootstrap childHandler(ChannelHandler childHandler)，該方法用來設定業務處理類（自定義的 handler）
public ChannelFuture bind(int inetPort) ，該方法用于伺服器端，用來設定占用的端口号
public ChannelFuture connect(String inetHost, int inetPort) ，該方法用于用戶端，用來連接配接伺服器端

Future、ChannelFuture

Netty 中所有的 IO 操作都是異步的，不能立刻得知消息是否被正确處理。但是可以過一會等它執行完成或者直接注冊一個監聽，具體的實作就是通過 Future 和 ChannelFutures，他們可以注冊一個監聽，當操作執行成功或失敗時監聽會自動觸發注冊的監聽事件
常見的方法有

Channel channel()，傳回目前正在進行 IO 操作的通道
ChannelFuture sync()，等待異步操作執行完畢

Channel

Netty 網絡通信的元件，能夠用于執行網絡 I/O 操作。
通過Channel 可獲得目前網絡連接配接的通道的狀态
通過Channel 可獲得網絡連接配接的配置參數（例如接收緩沖區大小）
Channel 提供異步的網絡 I/O 操作(如建立連接配接，讀寫，綁定端口)，異步調用意味着任何 I/O 調用都将立即傳回，并且不保證在調用結束時所請求的 I/O 操作已完成
調用立即傳回一個 ChannelFuture 執行個體，通過注冊監聽器到 ChannelFuture 上，可以 I/O 操作成功、失敗或取消時回調通知調用方
支援關聯 I/O 操作與對應的處理程式
不同協定、不同的阻塞類型的連接配接都有不同的 Channel 類型與之對應，常用的 Channel 類型:

NioSocketChannel，異步的用戶端 TCP Socket 連接配接。
NioServerSocketChannel，異步的伺服器端 TCP Socket 連接配接。
NioDatagramChannel，異步的 UDP 連接配接。
NioSctpChannel，異步的用戶端 Sctp 連接配接。
NioSctpServerChannel，異步的 Sctp 伺服器端連接配接，這些通道涵蓋了 UDP 和 TCP 網絡 IO 以及檔案 IO。

Selector

Netty 基于 Selector 對象實作 I/O 多路複用，通過 Selector 一個線程可以監聽多個連接配接的 Channel 事件。當向一個 Selector 中注冊 Channel 後，Selector 内部的機制就可以自動不斷地查詢(Select) 這些注冊的 Channel 是否有已就緒的 I/O 事件（例如可讀，可寫，網絡連接配接完成等），這樣程式就可以很簡單地使用一個線程高效地管理多個 Channel

ChannelHandler 及其實作類

ChannelHandler 是一個接口，處理 I/O 事件或攔截 I/O 操作，并将其轉發到其 ChannelPipeline(業務處理鍊)中的下一個處理程式。
ChannelHandler 本身并沒有提供很多方法，因為這個接口有許多的方法需要實作，友善使用期間，可以繼承它的子類
ChannelHandler 及其實作類一覽圖

ChannelInboundHandler 用于處理入站 I/O 事件。
ChannelOutboundHandler 用于處理出站 I/O 操作。
//擴充卡
ChannelInboundHandlerAdapter 用于處理入站 I/O 事件。
ChannelOutboundHandlerAdapter 用于處理出站 I/O 操作。
ChannelDuplexHandler 用于處理入站和出站事件。

ChannelHandler 及其實作類

我們經常需要自定義一個 Handler 類去繼承 ChannelInboundHandlerAdapter，然後通過重寫相應方法實作業務邏輯，我們接下來看看一般都需要重寫哪些方法

//通道就緒事件    public void channelActive(ChannelHandlerContext ctx) throws Exception {        ctx.fireChannelActive();    }
    //通道讀取資料事件    public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {        ctx.fireChannelRead(msg);    }
    //資料讀取完畢事件    public void channelReadComplete(ChannelHandlerContext ctx) throws Exception {        ctx.fireChannelReadComplete();    }
   //通道發生異常事件    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {        ctx.fireExceptionCaught(cause);    }

Pipeline 和 ChannelPipeline

ChannelPipeline 是一個重點：

ChannelPipeline 是一個 Handler 的集合，它負責處理和攔截 inbound 或者 outbound 的事件和操作，相當于一個貫穿 Netty 的鍊。(也可以這樣了解：ChannelPipeline 是儲存 ChannelHandler 的 List，用于處理或攔截 Channel 的入站事件和出站操作)
ChannelPipeline 實作了一種進階形式的攔截過濾器模式，使使用者可以完全控制事件的處理方式，以及 Channel 中各個的 ChannelHandler 如何互相互動
在 Netty 中每個 Channel 都有且僅有一個 ChannelPipeline 與之對應，它們的組成關系如下

一個 Channel 包含了一個 ChannelPipeline，而 ChannelPipeline 中又維護了一個由 ChannelHandlerContext 組成的雙向連結清單，并且每個 ChannelHandlerContext 中又關聯着一個 ChannelHandler
入站事件和出站事件在一個雙向連結清單中，入站事件會從連結清單 head 往後傳遞到最後一個入站的 handler，出站事件會從連結清單 tail 往前傳遞到最前一個出站的 handler，兩種類型的 handler 互不幹擾

常用方法

ChannelPipeline addFirst(ChannelHandler... handlers)，把一個業務處理類（handler）添加到鍊中的第一個位置
ChannelPipeline addLast(ChannelHandler... handlers)，把一個業務處理類（handler）添加到鍊中的最後一個位置

ChannelHandlerContext

儲存 Channel 相關的所有上下文資訊，同時關聯一個 ChannelHandler 對象
即ChannelHandlerContext 中包含一個具體的事件處理器 ChannelHandler ，同時ChannelHandlerContext 中也綁定了對應的 pipeline 和 Channel 的資訊，友善對 ChannelHandler進行調用.

常用方法

ChannelFuture close()，關閉通道
ChannelOutboundInvoker flush()，重新整理
ChannelFuture writeAndFlush(Object msg) ， 将 數 據 寫 到 ChannelPipeline 中 當 前
ChannelHandler 的下一個 ChannelHandler 開始處理（出站）

ChannelOption

Netty 在建立 Channel 執行個體後,一般都需要設定 ChannelOption 參數。ChannelOption 參數如下:

ChannelOption.SO_BACKLOG
對應 TCP/IP 協定 listen 函數中的 backlog 參數，用來初始化伺服器可連接配接隊列大小。服
務端處理用戶端連接配接請求是順序處理的，是以同一時間隻能處理一個用戶端連接配接。多個客戶
端來的時候，服務端将不能處理的用戶端連接配接請求放在隊列中等待處理，backlog 參數指定
了隊列的大小。

ChannelOption.SO_KEEPALIVE
一直保持連接配接活動狀态

EventLoopGroup 和其實作類 NioEventLoopGroup

EventLoopGroup 是一組 EventLoop 的抽象，Netty 為了更好的利用多核 CPU 資源，一般會有多個 EventLoop 同時工作，每個 EventLoop 維護着一個 Selector 執行個體。

EventLoopGroup 提供 next 接口，可以從組裡面按照一定規則擷取其中一個 EventLoop來處理任務。在 Netty 伺服器端程式設計中，我們一般都需要提供兩個 EventLoopGroup，例如：BossEventLoopGroup 和 WorkerEventLoopGroup。

EventLoopGroup 和其實作類 NioEventLoopGroup

通常一個服務端口即一個 ServerSocketChannel對應一個Selector 和一個EventLoop線程。BossEventLoop 負責接收用戶端的連接配接并将 SocketChannel 交給 WorkerEventLoopGroup 來進行 IO 處理，如下圖所示

BossEventLoopGroup 通常是一個單線程的 EventLoop，EventLoop 維護着一個注冊了ServerSocketChannel 的 Selector 執行個體BossEventLoop 不斷輪詢 Selector 将連接配接事件分離出來

通常是 OP_ACCEPT 事件，然後将接收到的 SocketChannel 交給 WorkerEventLoopGroupWorkerEventLoopGroup 會由 next 選擇其中一個 EventLoop來将這個 SocketChannel 注冊到其維護的 Selector 并對其後續的 IO 事件進行處理

Unpooled 類

//通過給定的資料和字元編碼傳回一個 ByteBuf 對象（類似于 NIO 中的 ByteBuffer 但有差別）

public static ByteBuf copiedBuffer(CharSequence string, Charset charset)

小六六學Netty系列之再遇Netty

前言

絮叨

異步模型

異步模型

Netty 核心元件一一講解

Bootstrap、ServerBootstrap

Future、ChannelFuture

Channel

Selector

ChannelHandler 及其實作類

ChannelHandler 及其實作類

Pipeline 和 ChannelPipeline

ChannelHandlerContext

ChannelOption

EventLoopGroup 和其實作類 NioEventLoopGroup

EventLoopGroup 和其實作類 NioEventLoopGroup

Unpooled 類

結尾

繼續閱讀

知名測網速工具，已解鎖全功能

對自己發展的一些思考

Debug時檢測到Loaderlock的解決辦法

淺談MFC圖示

.NET程式員的技能分析參考V1.0(有附件)

asp.net AspNetpager的用法

在angularjs中通過ts編寫時，如何添加中英文轉換

Java網絡程式設計-Socket程式設計初涉三（僞異步I/O模型的簡易多人聊天室）

msdn 訪談錄之C＃程式設計二

使用Windbg調試.Net應用程式

部署.net平台的應用程式

Robot Framework配置發送郵件功能

II6 IIS7 下 asp.net的生命周期 ASP.NET Application Life Cycle Overview for IIS 5.0 and 6.0

2010年終總結--技術篇

如何成為一名.net 工程師?

Netty——自定義協定解決TCP粘包拆包問題什麼是TCP粘包拆包自定義協定解決拆包粘包問題