天天看點
傳回

Tars | 第8篇 TarsJava Subset最終代碼的執行流程與原理分析

目錄

  • 前言
  • 1. SubsetConf配置項的結構
    • 1.1 SubsetConf
    • 1.2 RatioConfig
    • 1.3 KeyConfig
    • 1.4 KeyRoute
    • 1.5 SubsetConf的結構示意圖
  • 2. 過濾節點的方法入口
  • 3. subsetEndpointFilter()方法解析
    • 3.1 方法功能
    • 3.2 方法源碼
    • 3.3 方法解析
  • 4. getSubset()方法解析
    • 4.1 方法功能
    • 4.2 方法源碼
    • 4.3 方法解析
  • 5. getSubsetConfig()方法解析
    • 5.1 方法功能
    • 5.2 方法源碼
    • 5.3 方法解析
  • 6. 按比例路由的findSubet()方法解析
    • 6.1 方法功能
    • 6.2 方法源碼
    • 6.3 方法解析
  • 7. 按參數路由的findSubet()方法解析
    • 7.1 方法功能
    • 7.2 方法源碼
    • 7.3 方法解析
  • 8 總結：Subset業務執行流程結構圖
  • 最後

中期彙報會後，對Tars Subset功能更加熟悉，并根據TarsGo的實作方式，對Java JDK實作代碼進行翻新改造。于是有了以下兩篇分析文章：

第5篇 基于TarsGo Subset路由規則的Java JDK實作方式（上篇）

https://www.cnblogs.com/dlhjw/p/15245113.html

第6篇 基于TarsGo Subset路由規則的Java JDK實作方式（下篇）

https://www.cnblogs.com/dlhjw/p/15245116.html

其中，《上篇》注重TarsGo分析，《下篇》注重TarsJava實作方式。不出意外的話，最終送出的考核成果就在下面的GitHub代碼倉庫中（以下簡稱“最終代碼”），後續可能會有些許地方需要更改：

TarsJava 實作Subset路由規則JDK GitHub開源位址

https://github.com/dlhjw/TarsJava/commit/cc2fe884ecbe8455a8e1f141e21341f4f3dd98a3

最終代碼與中期代碼在整體思想邏輯上都是一緻的都是：先判斷Subset路由規則，再根據規則路由到定義的節點。不同點在于：中期在處理整個過程時，用一個方法

filterEndpointsBySubset()

實作；而最終的實作方式則是以

subsetEndpointFilter()

方法作為整個Subset流量路由的入口，通過

subsetManager

管理器調用

getSubset()

方法擷取到路由規則的String類型的

subset

字段，與節點自身的

subset

字段一一比較過濾節點；其中Subset路由規則的判斷封裝在

getSubset()

方法裡；

總的來說就是最終代碼是在處理subset規則邏輯中增加了很多細節，比如：通過新增的registry接口擷取subsetConf配置項；将擷取到是配置項存入緩存中；以及将“判斷Subset路由規則”進行層層封裝，最終傳回一個簡單的String類型的

subset

字段與節點自身的

subset

字段比較等；

是以，在執行流程上相比較中期有些許差別，其中比較複雜的地方涉及對各種封裝方法的調用與傳參。本篇将結合最終代碼的實作邏輯，以debug的方式，重點介紹其執行流程，即：

  • 首先找到過濾節點的方法入口；
  • 接着通過管理者嘗試擷取String類型的規則

    subset

     字段；
  • 通過

    getSubset()

     方法比對路由規則；
  • 調用具體路由規則的

    findSubet()

     方法擷取最終的規則

    subset
  • 将規則

    subset

     字段與節點的

    subset

     字段對比，實作篩選功能；

通過下面分析可以得出一個Subset的業務執行流程結構圖，如下：

  • subset.subsetEndpointFilter()：整個業務流程的方法入口；
    • subsetManager.getSubset()：通過XxxConf配置擷取String類型的subset字段；
      • getSubsetConfig()：從緩存或registry接口擷取SubsetConf；
      • subsetConf.getRatioConf()：擷取RatioConf配置；
        • ratioConf.findSubet()：通過RatioConf配置擷取String類型的subset字段；
      • subsetConf.getKeyConf()：擷取KeyConf配置；
        • keyConf.findSubet()：通過KeyConf配置擷取String類型的subset字段；
    • for循環比對subset字段；

當然，涉及到通過新增的registry接口擷取subsetConf配置項等邏輯，這些細節就放在下面正文裡講吧；

最終代碼的Subset測試方案設計請參考下面這篇文章：

第7篇 TarsJava Subset最終代碼的測試方案設計

https://www.cnblogs.com/dlhjw/p/15245121.html

《測試方案設計》與《執行流程分析》兩篇文章相輔相成，互相觀閱能更快更好地了解整個Subset的業務流程與輸出示例；

在中期，筆者使用一個map來模拟subset的流量規則；而在最終代碼裡，是用多個對象來模拟Subset的配置，這些對象是了解整個Subset流量過濾規則的基礎的，是以很有必要在這裡做個介紹；

public class SubsetConf {
    private boolean enanle;
    private String ruleType;
    private RatioConfig ratioConf;
    private KeyConfig keyConf;
    private Instant lastUpdate;
    ……
}

可以看出SubsetConf配置項裡有以下屬性：

  • enanle：表示是否開啟Subset流量管理功能；
    • true：開啟；false：關閉；
  • ruleType：表示流量管理的類型；
    • 目前有

      ratio

       按比例和

      key

       按參數兩種模式；
  • RatioConfig：表示按比例路由配置項；
    • 裡面定義了路由比例與路徑等資訊，詳情請參考《1.2 RatioConfig》
  • KeyConfig：表示按參數路由配置項；
    • 裡面定義了規則key與路由路徑等資訊，詳情請參考《1.3 KeyConfig》
  • lastUpdate：表示該配置項上次更新時間，将在緩存那裡起作用； 

public class RatioConfig {
    private Map<String, Integer> rules;
    ……
}

RatioConfig裡隻有一個map類型的

rules

路由規則，其中key為一個String類型的subset字段，用來跟節點的subset字段比對，value為路由權重，如：{ {"v1" , 20} , {"v2" , 60} , {"v3" , 20} }表示路由到subset字段為v1的節點的機率為0.2；路由到subset字段為v2的節點的機率為0.6；路由到subset字段為v3的節點的機率為0.2；

public class KeyConfig {
    private String defaultRoute;
    private List<KeyRoute> rules;
    ……
}

KeyConfig裡有兩個屬性，一個是

defaultRoute

預設路由路徑；另一個是list類型的

rules

，裡面是

KeyRoute

，其定義了按參數比對的類型、規則key與路徑，詳情請見《1.4 KeyRoute》

public class KeyRoute {
    private String action = null;
    private String value = null;
    private String route = null;
    public static final String TARS_ROUTE_KEY = "TARS_ROUTE_KEY";
    ……
}

KeyRoute裡面有四個String類型的屬性，如下：

  • action：用來定義參數比對的類型；
    • 目前可設定的類型有：equals精确比對、match正則比對、default預設比對；
  • value：這就是大名鼎鼎的規則key了。當action=equals時，還需滿足規則key與請求key比對，才能進行精确比對；當action=match時，還需滿足規則key與請求key正則比對，才能進行正則比對；action=default對規則key沒要求；
  • route：用來規定路由路徑，其值為一個String類型的subset字段，比對到節點的subset字段；
  • TARS_ROUTE_KEY：一個常量字段，為Tars請求體裡的status(map類型)的key；

上述提到的配置類聯系結構圖如下：

Tars | 第8篇 TarsJava Subset最終代碼的執行流程與原理分析

從SubsetConf配置類可以看出，按比例路由和按參數在思路上有些許不同，是以下面dubug分析将分為兩種情況；

新增的Sunset流量路由規則應該在查找服務端節點那裡，其目的是對擷取到的服務端節點根據subset規則進行過濾，是以整個Subset業務邏輯的入口函數在

getServerNodes()

方法的

subsetEndpointFilter()

裡，如下圖所示：

Tars | 第8篇 TarsJava Subset最終代碼的執行流程與原理分析

我們給該方法打上斷點，進行debug調試；

方法名 subsetEndpointFilter()
方法所在類 Subset.java
方法邏輯 根據Subset路由規則過濾節點
傳入參數 服務名、透傳染色key、存活節點清單
傳出參數 過濾後的存活節點清單 

public Holder<List<EndpointF>> subsetEndpointFilter(String servantName, String routeKey, Holder<List<EndpointF>> eps){
    if( subsetConf==null || !subsetConf.isEnanle() ){
        return eps;
    }
    if(eps.value == null || eps.value.isEmpty()){
        return eps;
    }
    //調用subsetManager，根據比例/比對等規則擷取到路由規則的subset
    String subset = subsetManager.getSubset(servantName, routeKey);
    if( "".equals(subset) || subset == null){
        return eps;
    }
    //和每一個eps的subset比較，淘汰不符合要求的
    Holder<List<EndpointF>> epsFilter = new Holder<>(new ArrayList<EndpointF>());
    for (EndpointF ep : eps.value) {
        if( subset.equals(ep.getSubset())){
            epsFilter.getValue().add(ep);
        }
    }
    return epsFilter;
}

進入

subsetEndpointFilter()

方法，首先會對subsetConf配置項進行非空校驗，這裡的配置項是從前端傳過來的，正常情況下不為空；接着對傳入的參數存活節點清單eps做非空校驗。兩步校驗通過後，進行核心方法

getSubset()

的調用，傳回String類型的規則的subset字段，該字段可以表示路由路徑。然後将規則的subset字段與節點的subset字段一一比較，選出符合要求的節點；

測試結果詳情請見《TarsJava Subset最終代碼的測試方案設計》一文；

傳回的String類型的規則的subset字段在下圖中就是RotioConfig的rules中的value或者KeyConfig的rules中的route，表示最終路由路徑。以下所有方法都是圍繞如何找到這個規則的subset字段做文章；

Tars | 第8篇 TarsJava Subset最終代碼的執行流程與原理分析

我們進入

getSubset()

方法檢視Tars是怎麼擷取到規則的subset字段的；

getSubset()
SubsetManager.java
根據路由規則先擷取到比例 / 染色路由的配置，再通過配置擷取String類型的subset字段
服務名、透傳染色key
String類型的規則的subset字段 

public String getSubset(String servantName, String routeKey){
    //check subset config exists
    SubsetConf subsetConf = getSubsetConfig(servantName);
    if( subsetConf == null ){
        return null;
    }
    // route key to subset
    if("ratio".equals(subsetConf.getRuleType())){
        RatioConfig ratioConf = subsetConf.getRatioConf();
        if(ratioConf != null){
            return ratioConf.findSubet(routeKey);
        }
    }
    KeyConfig keyConf = subsetConf.getKeyConf();
    if ( keyConf != null ){
        return keyConf.findSubet(routeKey);
    }
    return null;
}

該方法首先調用

getSubsetConfig()

方法擷取到一個SubsetConf配置項，該配置項可以是從緩存中拿，也可以是通過registry接口擷取（詳情請見《5. getSubsetConfig()方法解析》）；

確定SubsetConf配置項存在後，識别SubsetConf配置項的ruleType路由類型屬性（按比例、按參數、預設），通過屬性擷取到對應的配置項（ratioConf、keyConf、keyConf），最後調用

findSubet()

方法即可擷取到String類型的規則的subset字段，并傳回（詳情請見《6. 按比例路由的findSubet()方法解析》與《7. 按參數路由的findSubet()方法解析》）；

我們先進入

getSubsetConfig()

方法探其源碼；
擷取SubsetConf路由規則配置項，并存到subsetConf配置項
服務名
SubsetConf配置項 

public SubsetConf getSubsetConfig(String servantName){
    SubsetConf subsetConf = new SubsetConf();
    if( cache.containsKey(servantName) ){
        subsetConf = cache.get(servantName);
        //小于10秒從緩存中取
        if( Duration.between(subsetConf.getLastUpdate() , Instant.now()).toMillis() < 1000 ){
            return subsetConf;
        }
    }
    // get config from registry
    Holder<SubsetConf> subsetConfHolder = new Holder<SubsetConf>(subsetConf);
    int ret = queryProxy.findSubsetConfigById(servantName, subsetConfHolder);
    SubsetConf newSubsetConf = subsetConfHolder.getValue();
    if( ret == TarsHelper.SERVERSUCCESS ){
        return newSubsetConf;
    }
    //從registry中擷取失敗時，更新subsetConf添加進緩存
    subsetConf.setRuleType( newSubsetConf.getRuleType() );
    subsetConf.setLastUpdate( Instant.now() );
    cache.put(servantName, subsetConf);
    //解析subsetConf
    if( !newSubsetConf.isEnanle() ){
        subsetConf.setEnanle(false);
        return subsetConf;
    }
    if( "ratio".equals(newSubsetConf.getRuleType())){
        subsetConf.setRatioConf( newSubsetConf.getRatioConf() );
    } else {
        //按參數比對
        KeyConfig newKeyConf = newSubsetConf.getKeyConf();
        List<KeyRoute> keyRoutes = newKeyConf.getRules();
        for ( KeyRoute kr: keyRoutes) {
            KeyConfig keyConf = new KeyConfig();
            //預設
            if("default".equals(kr.getAction())){
                keyConf.setDefaultRoute(newKeyConf.getDefaultRoute());
                subsetConf.setKeyConf(keyConf);
            }
            //精确比對
            if("match".equals(kr.getAction())){
                List<KeyRoute> rule = new ArrayList<>();
                rule.add(new KeyRoute("match", kr.getValue() , kr.getRoute()));
                keyConf.setRules( rule );
            }
            //正則比對
            if("equal".equals(kr.getAction())){
                List<KeyRoute> rule = new ArrayList<>();
                rule.add(new KeyRoute("equal", kr.getValue() , kr.getRoute()));
                keyConf.setRules( rule );
            }
        }
        subsetConf.setKeyConf(newKeyConf);
    }
    return subsetConf;
}

getSubsetConfig()

方法的擷取主要分為兩個邏輯：從緩存中擷取與從registry接口擷取，判斷依據是：如果緩存中的subsetConf配置項的lastUpdate上次更新屬性落後目前時間小于10秒，則直接從緩存中擷取；否則重新調用registry接口擷取subsetConf配置項；

這是與另一個新增功能registry接口接觸的方法，由于registry功能還未實作，這部分功能做不了測試，但其大概邏輯是通過registry接口查閱資料庫擷取到subsetConf配置項；

getSubsetConfig()

方法執行完後，回到

4. getSubset()

方法裡，我們再進入

findSubet()

方法窺其究竟；

需要注意，按比例、按參數路由的findSubet()方法實作方式有些許不同，故在這裡分開來講；

RatioConfig.java
根據權重比例擷取rules中最後的subset字段
透傳的染色key 

public String findSubet(String routeKey){
     //routeKey為空時随機
     if( "".equals(routeKey) || routeKey == null){
         //指派routeKey為擷取的随機值
         Random random = new Random();
         int r = random.nextInt( rules.size() );
         routeKey = String.valueOf(r);
         int i = 0;
         for (String key : rules.keySet()) {
             if(i == r){
                 return key;
             }
             i++;
         }
     }
     //routeKey不為空時實作按比例算法
     int totalWeight = 0;
     int supWeight = 0;
     String subset = null;
     //獲得總權重
     for (Integer value : rules.values()) {
         totalWeight+=value;
     }
     //擷取随機數
     Random random = new Random();
     int r = random.nextInt(totalWeight);
     //根據随機數找到subset
     for (Map.Entry<String, Integer> entry : rules.entrySet()){
         supWeight+=entry.getValue();
         if( r < supWeight){
             subset = entry.getKey();
             return subset;
         }
     }
     return null;
 }

首先判斷透傳的染色key是否為空，如果為空，則會進行等比例随機路由到任意一個value；如果不為空，則會計算權重，通過随機數比對權重的方式按比例路由到對應的value，該value就是需要傳回給入口函數的String類型的規則的subset字段；

該方法實作下圖的藍圈1号流程：

Tars | 第8篇 TarsJava Subset最終代碼的執行流程與原理分析

而在按參數路由裡，也有一個findSubet()方法，他們的傳入傳出參數相同，實作功能類似，但在邏輯上有些不同，下面來看一下吧；
KeyConfig.java
根據參數比對規則擷取rules中最後的subset字段 

public String findSubet(String routeKey){
    //非空校驗
    if( routeKey == null || "".equals(routeKey) || rules == null){
        return null;
    }
    for ( KeyRoute rule: rules) {
        //根據根據分布式上下文資訊擷取 “請求的染色的key”
        String routeKeyReq;
        if( distributedContext != null){
            routeKeyReq = KeyRoute.getRouteKey(distributedContext);
        } else {
            logger.info("無分布式上下文資訊distributedContext");
            return null;
        }
        //精确比對
        if( "match".equals(rule.getAction())  ){
            if( routeKeyReq.equals(rule.getValue()) ){
                return rule.getRoute();
            } else {
                logger.info("染色key比對不上，請求的染色key為：" + routeKeyReq + "; 規則的染色key為：" + rule.getValue());
            }
        }
        //正則比對
        if( "equal".equals(rule.getAction()) ){
            if( StringUtils.matches(routeKeyReq, rule.getValue()) ){
                return rule.getRoute();
            } else {
                logger.info("正則比對失敗，請求的染色key為：" + routeKeyReq + "; 規則的染色key為：" + rule.getValue());
            }
        }
        //預設比對
        if( "default".equals(rule.getAction()) ){
            //預設路由無需考慮染色key
            return rule.getRoute();
        }
    }
    return null;
}

按參數比對路由方式要求跟Taes請求體的染色key做比對比較，是以這部分邏輯需要加上；

首先進行非空校驗，校驗通過後周遊KeyRoute，隻需要找到符合條件的rules即可處理傳回；在for循環裡，首先根據分布式上下文資訊擷取 “請求的染色key”，根據KeyRoute的action分情況讨論：

  • action=match：精确比對，需要判斷請求的染色key和規則的染色key是否相等，相等才能進行精确路由；不相等則不進行路由，并輸出一句錯誤日志；
  • action=equal：正則比對，其中正則式為請求的染色key，需要與規則的染色key進行比對，同理比對成功才能進行精确路由；否則則不進行路由，并輸出一句錯誤日志；
  • action=default：預設路由，不需要使用染色key，路由到使用者設定的預設路由路徑；

該方法實作下圖的藍圈2号流程：

Tars | 第8篇 TarsJava Subset最終代碼的執行流程與原理分析

通過上述步驟，最終擷取到的規則的subset字段将傳回到入口函數進行後續步驟：即将規則的subset字段與節點的subset字段一一比較，選出符合要求的節點；

通過上述分析，可以知道整個Subset的業務執行流程結構圖如下：

新人制作，如有錯誤，歡迎指出，感激不盡！

歡迎關注公衆号，會分享一些更日常的東西！

如需轉載，請标注出處！

Tars | 第8篇 TarsJava Subset最終代碼的執行流程與原理分析
上一篇: 算法 | 第2章 連結清單相關《程式員面試金典》
下一篇: ×××系列之ISAKMP Profile